ONDERZOEKSMETHODEN

H.1 Sociaalwetenschappelijk onderzoek en wetenschappelijke integriteit

1.1 Inleiding en leerdoelen- Vanuit de sociale wetenschappen kijken onderzoekers naar samenlevingen als geheel, maar ook naar groeperingen daarbinnen, met inbegrip van de factoren die het functioneren van die groepen beïnvloeden.* Wetenschap is gericht op theoretische kennis gebaseerd op onderzoek. Die kennis wordt gedeeld met anderen in en open communicatieproces over werkwijzen en uitkomsten van het wetenschappelijk onderzoek dat plaatsvindt op haar vakgebieden. Aan die communicatie worden expliciete eisen gesteld.

1.2 Sociaalwetenschappelijk onderzoek- Wetenschap = een systematisch geheel van kennis (theoretisch van aard). Het gaat om een samenhangend geheel van uitspraken waarmee wordt geprobeerd om allerlei sociale verschijnselen te beschrijven, verklaren of voorspellen. Om tot een dergelijk geheel te komen moeten wetenschapsbeoefenaren planmatig te werk gaan. -> Het onderzoeksplan:* Probleemstelling: onderscheid van vraagstelling en doelstelling – wat je wilt onderzoeken en waarom.* Onderzoeksontwerp: hoe ga je te werk om uiteindelijk heldere antwoorden op de probleemstelling te verkrijgen.- Wetenschappers proberen inzichten te krijgen over losse waarnemingen en de patronen en relaties daarin. Het doel is om systematische, empirische waarnemingen van bepaalde aspecten van de sociale werkelijkheid te verrichten om daarover theoretische inzichten te ontwikkelen of om eerder ontwikkelde theoretische inzichten te toetsen.

Benaderingen in de sociale wetenschappen

Empirisch-analytische benadering Empirisch-interpretatieve benadering

- Hierin zitten verschillen in de probleemstellingen en vooral in onderzoeksontwerp, en kunnen op verschillende manieren worden geanalyseerd.

Fundamenteel en praktijkgericht onderzoek

Fundamenteel wetenschappelijk onderzoek: heeft als doel een bijdrage te leveren aan de wetenschappelijke kennis.

Praktijkgericht onderzoek: heeft als doel kennis voor oplossingen te leveren van praktijkproblemen die bestaan bij aanwijsbare personen, groepen of organisaties buiten de wetenschap.

Theorievorming en theorietoetsing

Explorerend onderzoek: met je onderzoek de sociale werkelijkheid verkennen of exploreren, omdat naar dat aspect van de werkelijkheid vrijwel nog geen onderzoek is gedaan.

Toetsend onderzoek: specifieke uitspraken doen over hetgeen je verwacht aan te treffen in de sociale werkelijkheid door specifieke hypothesen af te leiden van de theoretische inzichten die al verworven zijn in eerder onderzoek.

- Om de relatie te leggen tussen wetenschappelijke uitspraken en empirische waarnemingen moet je eerst wetenschappelijke definities opstellen van de abstracte begrippen die je gebruikt.-> Belangrijk in het onderzoeksproces is dat onderzoekers op transparante wijze kenbaar moeten maken hoe zij hun vraagstellingen en abstracte begrippen daadwerkelijk waarneembaar denken te maken. – betrouwbaarheid en validiteit van de verzamelde gegevens is van belang.

ONDERZOEKSMETHODEN

Probleemstelling en onderzoeksontwerpen- Methodenleer: het geheel van onderzoeksmethoden waarover de sociale wetenschappen inmiddels beschikken.- Methodologie: de wetenschap van de sociaalwetenschappelijke methoden.

1.3 Wetenschap is communicatie over onderzoek- Wetenschappers werken steeds vaker in teams; onderzoekers communiceren binnen hun vakgebied (disciplinair) en met collega’s uit andere vakgebieden (multidisciplinair), vooral via publicatie van artikelen en op wetenschappelijke conferenties. Wetenschappers communiceren ook met het bredere publiek via de media, maar vaak nadat hun bijdrage is gepubliceerd in een wetenschappelijke bron.* Valorisatie: wetenschappers tonen aan dat hun wetenschappelijke inzichten ook van belang zijn voor de maatschappij.

Communicatiemodel- Een klassiek model in de communicatiewetenschap is het zender-boodschap-ontvangermodel van Lassell. Een bezwaar tegen dit model is dat het ordent vanuit het perspectief van de zender en het weinig aandacht heeft voor de positie van de ontvanger. Latere auteurs gaven meer aandacht aan het feit dat communicatie altijd tweerichtingsverkeer is, ook al kunnen de intensiteit en de directheid van de terugkoppeling (feedback) wisselen. Een ander kritiekpunt op dit model is dat het geen aandacht besteedde aan de context van de communicatie. Bij de sociale wetenschappen zijn vooral de context van de maatschappij en de organisatie van belang (bijv. democratie vs. dictatuur).

Functies van communicatie

Boodschap als bron van informatie Boodschap als vermaak Boodschap als middel om de persoonlijke identiteit te versterken Boodschap als voertuig voor sociale integratie en interactie

-> De functies van informatie en vermaak zijn de bekendste vormen van het ‘dankbaar gebruiken van de boodschap’ (uses and gratifications theory). De persoonlijke en maatschappelijke functies zijn minder bekend, maar zeker voor de sociale wetenschappen niet minder belangrijk. Via de media reiken onderzoekers het publiek waarden, normen en gedragsmodellen aan -> versterking van persoonlijke identiteit, sociale integratie en sociale interactie.* Selectieprocessen: mensen selecteren uit het informatieaanbod die boodschappen die zij kunnen gebruiken en destilleren daaruit eerder datgene wat hun eigen opvattingen en gedrag ondersteunt dan wat hen in het ongelijk stelt.- Bij de communicatie tussen wetenschappers onderling staat de boodschap centraal in de vorm van wetenschappelijke artikelen.

1.4 Onderzoek in de media- De media kunnen ook het algemene publiek informeren over wetenschappelijk onderzoek. Populairwetenschappelijke boeken, radio, tv, dvd, film, kranten, tijdschriften en internet zijn de dragers van wetenschappelijke informatie gericht op een breed publiek.* In de publieksmedia gebruiken journalisten de bevindingen van wetenschappelijk onderzoek bijv. in de vorm van nieuws. Sociaalwetenschappelijk onderzoek kan een oplossing voor een maatschappelijk probleem hebben gevonden. Er komen vaak details naar boven die niet eerder waren opgemerkt.

1.5 De onderzoeker als professional: wetenschappelijke integriteit- Recent zijn er ook wetenschappers onder vuur komen te liggen in de media, omdat een aantal schandalen met wetenschapsfraude naar buiten is gekomen. Deze kunnen aanleiding geven om

ONDERZOEKSMETHODEN

regels op te stellen over hoe je je als onderzoeker moet gedragen tegenover de mensen die meedoen in je onderzoek. Daarin staan de mensenrechten centraal.* Fundamentele ethische principes bij onderzoek met mensen (Belmont rapport):

Respect voor personen: de autonomie van mensen en het recht op zelfbeschikking. Je moet mensen in staat stellen tot geïnformeerd toestemmen met deelname (‘informed consent’)

Goed doen: de risico’s voor de deelnemers tot het minimum beperken. Gerechtigheid: het verkrijgen van eerlijke, redelijke en niet-exploiterende procedures voor

studieparticipanten en de eerlijke verdeling van lasten en lusten van het onderzoek.

1.6 Wetenschappelijke integriteit en onderzoeksontwerpen- Twijfel aan wetenschappelijke integriteit werd verder gevoed na de slechte resultaten van de repliceerbaarheid van een groot aantal psychologische experimenten. Om een studie te kunnen herhalen/repliceren dient de onderzoeker heel precies te weten hoe het oorspronkelijke onderzoeksontwerp in elkaar heeft gestoken.* Onderzoekers worden veelal gedreven door nieuwsgierigheid over hoe de sociale wereld in elkaar zit en willen die inzichten graag met anderen delen. Voordat wetenschappelijke onderzoeksbevindingen de wetenschappelijke tijdschriften of de media bereiken, spreken wetenschappers onderling over hun onderzoek.

Critical friends: door met andere wetenschappers te spreken proberen zij hun onderzoekswerk bloot te stellen aan constructieve commentaren om het zodoende beter te maken. Er wordt dan gekeken of het onderzoek aan alle kwaliteitsmaatstaven voldoet.

Peer review: een proces waarbij wetenschappelijke onderzoekers zich als het ware blootstellen aan collega-onderzoekers en aan andere leden van de samenleving (bijv. beleidsvoerders of het grote publiek). Onderzoekers sturen langs deze weg een verzoek naar de (wetenschappelijke) gemeenschap om de gevonden resultaten te controleren, opdat de kwaliteit en bruikbaarheid van de verzamelde kennis wordt vastgesteld.

Zes principes van wetenschappelijke integriteit

Wetenschapsbeoefenaren dienen eerlijk, openhartig en zorgvuldig te zijn. Daarbij is correcte bronvermelding noodzakelijk om te laten zien wat de intellectuele herkomst is van de tekst.

Wetenschappers dienen betrouwbaar te zijn: in de uitvoering van het onderzoek, in de rapportages en in de overdracht van kennis in onderwijs en publicaties. Het onderzoek is traceerbaar, controleerbaar en toetsbaar. Gegevens mogen niet gemanipuleerd worden.

De onderzoeksresultaten moeten controleerbaar zijn, in alle stappen van het onderzoeksproces.

Wetenschapsbeoefenaren dienen zich onpartijdig en objectief op te stellen bij oordeelsvorming en beslissingen in het belang van de wetenschap. Ze mogen zich niet laten leiden door persoonlijke belangen, voorkeuren of vooroordelen.

Wetenschappers dienen het onderzoek onafhankelijk uit te voeren, waarbij belangenverstrengeling vermeden wordt.

Wetenschappers dragen verantwoordelijkheid voor de maatschappelijke implicaties van het wetenschappelijke werk. De keuze voor bepaalde onderzoeksthema’s moeten zij altijd kunnen uitleggen.

Ethische toetsing van onderzoek- De Discipline overleg Sociale Wetenschappen (DSW) heeft een regeling betreffende ethische toetsing van wetenschappelijk onderzoek opgesteld. Voor de onderzoekers betekent het dat zij zich bewust moeten zijn van ethische vraagstukken die samenhangen met de methodologie.

ONDERZOEKSMETHODEN

H.3 Benaderingen van onderzoek

3.1 Inleiding en leerdoelen- De empirisch-analytische en empirisch-interpretatieve benaderingen zijn geworteld in de wetenschapsfilosofische tradities die van invloed zijn op de concrete aanpak van een onderzoek.

3.2 Éen en hetzelfde onderwerp, twee benaderingen, twee voorbeelden-> Zie boek voor voorbeelden onderzoeksplan.

3.3 Benaderingen van onderzoek- De manier waarop wetenschappers onderzoek aanpakken wordt grotendeels bepaald door het beeld dat zij hebben van de sociale werkelijkheid. Onderzoekers hebben verschillende ideeën over de sociale structuren die in de werkelijkheid aanwezig zijn en die een rol spelen in het leven van mensen in samenlevingen. Daarnaast hebben wetenschappers ook meningen over wat als kennis telt en over de wijze waarop kennis over de werkelijkheid vergaard moet worden.* Ontologie: uitspraken over het dan al niet bestaan van sociale structuren en onderzoekers die beweren dat de sociale wereld op een bepaalde manier in elkaar steekt. Ontologie betekent de ‘studie van de dingen die bestaan’/’zijnsleer’; houdt zich bezig met de vraag welke dingen er zijn in de werkelijkheid.* Epistemologie: het vraagstuk over kennisvergaring/’kennisleer’; houdt zich bezig met de vraag hoe we kennis over de werkelijkheid kunnen opdoen. -> Onderzoekers die binnen een onderzoeksgroep met elkaar samenwerken delen over het algemeen ongeveer dezelfde ontologische en epistemologische opvattingen. Die opvattingen bepalen de keuze van hun probleemstelling en daarbinnen de aard van de vraagstellingen en passend onderzoeksontwerp.

3.3.1 De empirisch-analytische benadering (kortweg: ‘kwantitatieve’ benadering)- Positivisme: door het gebruik van experimenten kon een nauwkeurigheid in de voorspelling van fenomenen worden bereikt. Het gaat uit van een positieve ontwikkeling in de wetenschap en dat het steeds meer gebaseerd wordt op ‘harde’ feitelijke kennis. Het beroept zich op waarneembare feiten als basis van alle kennis (empirisme) -> logische principe van inductie -> theorievorming -> logische principe van deductie -> afleiding hypothesen uit theorieën -> toetsing hypothesen.* Logische positivisme: zintuiglijk waarneembare feiten worden vertaald in een reeks van logisch samenhangende, heldere en consistente uitspraken. – Bezwaren tegen het logisch-positivisme:

Ook niet-zintuiglijke waarneembare begrippen kunnen belangrijk zijn; zaken die mensen bedenken of abstracte begrippen (mentale categorieën, zoals intelligentie en armoede). Deze begrippen dienen dan meetbaar gemaakt te worden door het te definiëren en te operationaliseren.

Het is voor de geldigheid van een wetenschappelijke theorie niet voldoende dat deze kan worden herleid op waarnemingen (empirie). Wetenschappers die een wetenschappelijke theorie gebruiken om hypothesen af te leiden moeten ook aangeven welke waarnemingsfeiten ermee strijdig zijn. Zij moeten de theorie zodanig formuleren dat de daaruit afleidbare hypothesen in principe falsifieerbaar zijn = neopositivisme.

- Nomothetische kennis: kennis waarin ‘wetten’ geformuleerd worden; regelmatigheden zoals vaak voorkomende menselijke of sociale patronen. Bevindingen dienen voor zo veel mogelijk gevallen te gelden (groot aantal eenheden). Op grond daarvan willen zij komen tot generaliseerbare uitspraken die gelden voor de gehele populatie. Er zijn ook onderzoekers in deze benadering die voorkeur hebben voor een eenduidige causaliteit van relaties. Onderzoekers hebben uitdrukkelijk een voorkeur om eerder verkregen of gedocumenteerde theorieën weer als uitgangspunt te nemen bij nieuw onderzoek om daaruit nieuwe hypothesen af te leiden en vervolgens weer te toetsen.

ONDERZOEKSMETHODEN

* Onderzoekers binnen deze benadering informeren bij onderzoekseenheden naar een aantal zintuiglijk waarneembare en daarmee meetbare kenmerken, vaak d.m.v. vragen in een gestandaardiseerde vragenlijst (= de variabelen).-> Reductionistisch: de kenbare werkelijkheid wordt samengevat in de relaties tussen een beperkt aantal variabelen. De onderzoekers moeten zich waardevrij opstellen en observeert van buitenaf (derde-persoonsperspectief). Door het standaardiseren van de waarneming- en analysemethoden wordt reductionistisch onderzoek makkelijker herhaalbaar. * Streven naar intersubjectiviteit: het streven naar consensus binnen de wetenschapsgemeenschap. Op die manier wordt de wetenschap zo min mogelijk vertekend door persoonlijke voorkeuren.-- Kritiek: volgens kritische natuurwetenschappers leiden de natuurwetenschappelijke methoden in deze kwantitatieve benadering van de sociale wetenschappen niet automatisch tot verbetering. Volgens kritische sociale wetenschappers kan het zorgvuldig verkregen cijfermateriaal in deze benadering nooit een volledige verklaring geven van al die waarnemingen. Deze critici betogen dat de meeste fenomenen in de sociale wetenschap vanuit verschillende invalshoeken bestudeerd moeten worden en van binnenuit geobserveerd zouden moeten worden.

3.3.2 De empirisch-interpretatieve benadering (kortweg: ‘kwalitatieve’ benadering)- Het begrijpen van de sociale werkelijkheid staat centraal bij de interpretatieve benadering. Om tot begrip van een sociale situatie te komen moeten onderzoekers als het ware door de ogen kijken van de mensen die ze bestuderen en de wereld zien zoals zij ze zien (eerste-persoonsperspectief). Het is de context die maakt dat bepaalde betekenissen kunnen worden toegekend aan observaties.* De achtergrond van deze onderzoeksopvatting ligt in de filosofie van de hermeneutiek en de fenomenologie.> Hermeneutiek: het duiden of uitleggen van teksten door schriftgeleerden. > Fenomenologie: het wezenlijke van verschijnselen wordt onderzocht. De achtergronden van verschijnselen worden naar voren gehaald. * Onderzoekers binnen deze benadering formuleren over het algemeen probleemstellingen die specifiek van aard zijn waarover we nog niet zoveel kennis ter beschikking hebben en die met ongestandaardiseerde methoden worden benaderd. De beschrijving van concrete, zichtbare gehelen zoals individuen of groepen vorm het uitgangspunt. - Idiografische kennis: kennis die het unieke beschrijft (in contrast met kennis van wetmatigheden)Onderzoekers binnen deze benadering zijn specifiek geïnteresseerd in de variatie die zich in een onderwerp van studie voordoet. Interpretatieve onderzoekers beschouwen individuen of gezinnen niet als scores op een beperkt aantal variabelen, maar als eenheden de in hun geheel bestudeerd dienen te worden en waartoe meerdere waarnemingsmethoden worden benut = holistisch.* Interpretatieve onderzoekers proberen de taal en het interpretatiekader van de betrokkenen te verwerken in hun resultaten en conclusies (bijv. focusgroep). Bij de dataverzameling gebruiken deze onderzoekers kwalitatieve ongestandaardiseerde methoden, steeds met de doelstelling om gebeurtenissen vanuit de visie van de betrokkenen te beschouwen. -- Kritiek: de onderzoeker is zelf het onderzoeksinstrument waarbij onderzoekers de waarnemingen interpreteren en hun rol dus aanzienlijk is. Dit kan een bedreiging vormen voor de intersubjectiviteit en repliceerbaarheid. Onderzoekers in de kwalitatieve traditie pleiten eerder voor waardeverheldering. Zij zullen helder moeten zijn over hun eigen attitudes en ervaringen.

3.3.3 De overbrugbare animositeit tussen de twee benaderingen- De vertegenwoordigers van de kwantitatieve en kwalitatieve benadering verhouden zich vaak vijandelijk tot elkaar. Maar er is ook productieve samenwerking mogelijk. Een gemeenschappelijke grond is dat beide benaderingen delen is dat zij hun kennis baseren op empirische bevindingen. * Kwantitatieve benadering: vraagstelling en bestaande theorie -> afleiden van hypothesen -> toetsen met empirische data (via deductiefase in de empirische cyclus).* Kwalitatieve benadering: vraagstelling -> verzameling en analyse empirische data (via inductiefase in de empirische cyclus) -> formulering theorie.

ONDERZOEKSMETHODEN

VB. Kwalitatief onderzoek kan de gedragspatronen van mensen die in armoede verkeren identificeren, terwijl een daaropvolgend kwantitatief onderzoek de prevalentie en omvang van deze gedragspatronen in de bevolking kan opsporen. Vervolgens zou een kwalitatief onderzoek weer kunnen inzoomen op een bepaalde risicogroep om te vragen hoe zij langdurige armoede beleven.-> Verreweg de meeste problemen in de moderne samenleving zijn dusdanig complex dat hechte samenwerking van kwantitatieve en kwalitatieve onderzoekers tot vruchtbaardere resultaten en inzichten zal leiden.

3.4 Typen onderzoek

3.4.1 Wetenschap als systematische theorievorming- Definitie van wetenschap en de kenmerken:

Het streven naar kennis. Deze kennis kan uiteindelijk ondergebracht worden in een theorie = theorievorming; het ontdekken van patronen in de werkelijkheid.

Wetenschappelijke uitspraken dienen gefundeerd te zijn in empirische uitspraken. Systematische benadering. Wetenschap is cumulatief: elke wetenschapper bouwt verder op het werk van voorgangers.

3.4.2 Fundamenteel en praktijkgericht wetenschappelijk onderzoek

Fundamenteel wetenschappelijk onderzoek: het doel is de ontwikkeling en/of toetsing van theorieën voor de oplossing van kennisproblemen. – empirische cyclus

Praktijkgericht wetenschappelijk onderzoek: het doel is de ontwikkeling, uitvoering en evaluatie van oplossingen voor praktijkproblemen die bestaan bij aanwijsbare personen, groepen of organisaties buiten de wetenschap. Het betreft kennis die nodig is voor het praktisch handelen en besluitvorming. – regulatieve cyclus

Niet-wetenschappelijk praktijkgericht onderzoek: praktijkonderzoek dat niet aan de vereiste normen en kwaliteitscriteria van wetenschappelijkheid voldoet. Dit onderzoek is gericht op het (snel) kunnen nemen van beslissingen in specifieke praktijksituaties waarbij niet of nauwelijks sprake is van theorievorming. Het ontbreekt vaak aan systematische benadering. Hierbij spelen praktijknormen een belangrijkere rol dan wetenschappelijke normen.

3.4.3 De empirische cyclus- Het onderzoek begint met de formulering van een kennisprobleem. De probleemstelling en onderzoeksopzet wordt geformuleerd, met systematisch literatuuronderzoek als belangrijkste bron. Als er nog veel kennis ontbreekt en er nog geen volledige en goede theorie bestaat, wordt het een explorerend onderzoek (fase kennisprobleem t/m theorie). Als er al wel een theorie is, maar de onderzoeker niet zeker weet of deze wel waar is, wordt het een toetsend onderzoek (fase theorie t/m evaluatie)

Inductie van hypothesen- In de tweede fase van de empirische cyclus identificeert de onderzoeker de relevante verschijnselen in een onderzoeksveld en bedenkt hij/zij mogelijke empirische regelmatigheden en samenhangen tussen verschijnselen op basis van observaties uit de werkelijkheid. Bij het zoeken naar empirische regelmatigheden of verbanden wordt gebruik gemaakt van inductie = aan de hand van een aantal concrete observaties probeer je een algemenere uitspraak te formuleren. Er wordt gesproken van een veronderstelling of exploratieve hypothese, omdat nog gezocht wordt naar een verklaring en een theorie.

Theorie= samenhangend stelsel van uitspraken waarmee empirische regelmatigheden beschreven, verklaard en voorspeld kunnen worden. De theorie vormt het centrale onderdeel van de empirische cyclus. Het

ONDERZOEKSMETHODEN

afwegen van verklaringen is zeer kenmerkend voor de fase van de empirische cyclus waarin een theorie gezocht of verbeterd wordt en nog niet onderworpen is aan een onafhankelijke beoordeling of toetsing.

Deductie van hypothesen- In deze fase worden hypothesen geformuleerd die zijn afgeleid uit de theorie en die kunnen worden getoetst op hun juistheid. Bij deductie wordt juist aan de hand van een algemeen verband een uitspraak gedaan over concrete situaties. * Hypothese/voorspelling: uitspraak over bepaalde feiten of gebeurtenissen die men in het onderzoek verwacht waar te nemen. Hypothesen kunnen soms ook tegenstrijdig zijn.

Toetsing- In deze fase worden hypothesen gezien als belangrijke concrete en toetsbare uitspraken die je afleidt uit bepaalde theorieën. Toetsen vindt plaats door de analyse van de empirische gegevens die worden verzameld naast de hypothesen te leggen. * In de praktijk verwerpen onderzoekers vrijwel nooit meteen hun hele theorie als een hypothese niet uitkomt. Ze proberen dan de theorie te redden, door het bijv. enigszins aan te passen.

Evaluatie- In deze fase beantwoord je de vraag of het desbetreffende kennisprobleem daadwerkelijk is opgelost. Als dit het geval is kan de onderzoeker starten met een ander of gerelateerd kennisprobleem. Als dit niet (voldoende) het geval is zal de onderzoeker weer nieuwe mogelijkheden om een nieuwe empirische cyclus te starten om de theorie uit te werken of om er nieuwe hypothesen uit af te leiden. Er worden door de onderzoeker vaak mogelijkheden gezien voor verder onderzoek.

De twee wetenschappelijke benaderingen in de empirische cyclus

Empirisch-analytische benadering: soms ligt de nadruk op de inductieve fase van exploratief onderzoek, maar meestal en vooral op de deductieve fase van het toetsend onderzoek.

Empirisch-interpretatieve benadering: er wordt vaak een spiraalvormige opeenvolging van verschillende empirische cycli doorlopen, waarin een steeds bredere en diepere theorie wordt ontwikkeld, in de zin dat het domein van de theorie wordt uitgebreid en de abstractie toeneemt. De nadruk van deze benadering ligt in de inductieve fase met het oog op de verdere ontwikkeling van een theorie.

3.4.4 De regulatieve cyclus- Deze cyclus wordt gebruikt bij praktijkgericht wetenschappelijk onderzoek dat bestaat uit kennisvermeerdering om beslissingen te ondersteunen van mensen in de praktijk, vaak om problemen van mensen in de praktijk op te lossen. Er wordt dan ook gebruikgemaakt van bestaande theoretische inzichten of er wordt een eigen theorie ontwikkeld (= praktijktheorie). Deze cyclus is gericht op beslissingen; het geeft het denken van de besluitvormers weer (geen onderzoekscyclus).

Formulering van een praktijkprobleem- Een of meer praktijkproblemen van personen of instanties buiten de wetenschap vormen het uitgangspunt van praktijkgericht wetenschappelijk onderzoek. De probleemstelling is hierbij niet alleen een zaak van onderzoekers, maar ook van opdrachtgevers en andere betrokkenen bij uit de desbetreffende praktijk. - De eerste stap van wetenschappelijke praktijkonderzoekers is het contact leggen met een veld of met een organisatie die optreedt namens de personen die het praktijkprobleem ervaren. Het initiatief voor dit onderzoek kan van verschillende kanten komen. Vervolgens formuleren de onderzoekers een eerste doel- en vraagstelling en leggen deze voor aan de opdrachtgevers.* Bij de start van het onderzoek is het vaak noodzakelijk een probleemanalyse te verrichten om het

ONDERZOEKSMETHODEN

betreffende thema goed te leren kennen (d.m.v. literatuurstudie, observatie, ondervraging). Hieruit volgt of er vervolgonderzoek nodig is om het praktijkprobleem aan te pakken. Dan wordt er vastgesteld in welke fase van de regulatieve cyclus het onderzoek bevindt. De onderzoeker maakt een voorlopig onderzoeksplan en legt het voor aan de opdrachtgevers.

Diagnose- In de tweede fase van de regulatieve cyclus kan het praktijkgericht wetenschappelijk onderzoek worden geplaatst, waarin de probleemsituatie onderzocht wordt en de oorzaken van het probleem achterhaald worden (= diagnostisch onderzoek).* Kenmerkend voor het diagnostisch onderzoek is dat er een voorlopige analyse van de uitgangssituatie wordt gemaakt; van de bestaande toestand zonder beleid of ingreep. Als de bestaande wijzen om het probleem op te lossen deel uitmaken van de diagnose, worden ze aan een onderzoek onderworpen en wordt er nagegaan waarom zij niet tot (bevredigende) resultaten leiden.-> Het praktijkgerichte onderzoek in deze fase gebeurt in voortdurend overleg met de opdrachtgevers en betrokkenen.

Planvorming- In praktijkgericht wetenschappelijk onderzoek gaat het in eerste instantie om een beschrijving (in kaart brengen) van de probleemsituatie en vervolgens om het vinden van een bepaalde oplossing voor het praktijkprobleem in deze beschrijving. Er wordt daarbij onderscheid gemaakt tussen niet of moeilijk te veranderen kenmerken en kenmerken die wel goed te veranderen zijn d.m.v. beleid. Als onderzoeker zet je een brede inventarisatie van mogelijke verklaringen op waaruit je een coherent geheel probeert te construeren.

Plan- en besluitvorming- In deze fase wordt onderzoek gedaan naar de meest optimale en haalbare oplossingen voor het probleem, een selectie waarvoor vaak de opdrachtgevers verantwoordelijk zijn en waarvan zij stellige verwachtingen hebben dat die een oplossing gaat opleveren voor het praktijkprobleem. Het plan wordt bepaald m.b.v. ondervraging over de wensen van de betrokkenen. Onderzoekers kunnen ook hun advies geven bij de ideeën over bepaalde oplossingen op basis van hun expertise als deskundigen. * In de fase voorafgaand aan besluitvorming ga je als onderzoeker een analyse van de mogelijke effecten maken (= ex ante evaluatie). In deze fase moet er een keuze gemaakt worden voor de maatregelen waarvan men het meeste effect verwacht (vergelijk deductiefase van empirische cyclus)* In de fase van de besluitvorming wordt er een specifiek doel en geschikte middelen gekozen voor een interventie in de praktijk. Praktijkgericht wetenschappelijk onderzoek kan hierbij helpen. Al het onderzoek ter ondersteuning en beoordeling van de voorlopige plannen en besluiten wordt planevaluatie genoemd.

Interventie- In deze fase wordt het plan uitgevoerd. Kenmerkend voor het onderzoek in deze fase zijn de metingen waarmee de gang van zaken wordt gevolgd tijdens de interventie (= procesevaluatie).

Verandering- Ten slotte wordt het plan geëvalueerd en wordt de vraag beantwoord of er sprake is van een verandering waardoor het praktische probleem is opgelost of is gereduceerd. Bij de eindevaluatie gaat het om de uiteindelijke effectiviteit van de ingreep in de praktijk (= effect/productevaluatie). Er wordt steeds meer systematisch geëvalueerd, waarbij de bedoeling is dat het beleid meer gebaseerd moet zijn op bewezen effectiviteit in de praktijk (= ‘evidence-based’).* In deze fase wordt ook de vraag gesteld of men wel efficiënt genoeg te werk is gegaan, of er neveneffecten zijn en of er niet te veel middelen zijn gebruikt d.m.v. een kosten-batenanalyse. * Belangrijk is de constatering dat er geen waterdichte scheiding bestaat tussen fundamenteel (kan

ONDERZOEKSMETHODEN

ook maatschappelijke relevantie hebben) en praktijkgericht wetenschappelijk onderzoek (kan ook een theorie ontwikkelen en gebruiken). Het cruciale verschil is dat praktijkgericht wetenschappelijk onderzoek een direct nut dient te hebben voor aanwijsbare betrokkenen.

3.5 Overzicht en inzicht- Tussen de empirische en regulatieve cyclus bestaan een aantal overeenkomsten. Beide cycli kunnen op elkaar worden gelegd om de gelijkenis van de structuur te laten zien (zie figuur 3.3).

H.2 Het onderzoeksplan

2.1 Inleiding en leerdoelen- Het eerste deel van het onderzoeksplan is de probleemstelling die bestaat uit 3 delen: vraagstelling, doelstelling en theoretisch raamwerk. Het tweede deel is het onderzoeksontwerp waarin staat hoe je het onderzoek wilt uitvoeren om een antwoord op je vraagstelling te verkrijgen. In het onderzoeksplan zijn ook de ethische overwegingen van belang.- Het uitvoeren van een onderzoek start met het ontwikkelen van een onderzoeksplan. Onderzoek is gericht op het genereren van kennis die bedoeld kan zijn als oplossing van kennis- of praktijkproblemen. In het onderzoeksplan staan allerlei expliciete beslissingen die systematisch worden vastgelegd en die je kenbaar maakt voor anderen.

2.2 De tien onderdelen van een onderzoeksplan-> zie boek voor schematische weergave van het onderzoeksplan

2.2.1 Probleemstelling- De probleemstelling in het onderzoeksplan geeft antwoord op de vragen wat en waarom je wilt onderzoeken en vanuit welk theoretisch raamwerk. Maatschappelijke verschijnselen worden vaak in theoretische concepten gerepresenteerd die wat abstract zijn en niet direct waarneembaar zijn in de samenleving. Daarom moet je in het onderzoeksontwerp die abstracte theoretische concepten naar meer concrete en waarneembare maatschappelijke verschijnselen vertalen.

2.2.2 Onderzoeksontwerp- In het onderzoeksontwerp worden de methodologische beslissingen beschreven. Gegeven de vraagstelling leg je uit hoe je data wilt verzamelen (= opzet van het onderzoek). Daarna moet je uitleggen wat voor data je wilt verzamelen en hoe je dat wil doen. * Paradigma: een stelsel van opvattingen dat wordt gedeeld door een groep wetenschappers over wat de juiste of beste wetenschap is waarop je zo’n theorie zou moeten ontwikkelen of confronteren met de sociale werkelijkheid. – verschillende benaderingen van de sociale werkelijkheid. Op grond van deze paradigma’s kunnen we wetenschappelijke gemeenschappen karakteriseren en onderscheiden. - In het dataverzamelingsplan maak je kenbaar welke data je wilt verzamelen om de abstracte theoretische concepten waarneembaar te maken. Tijdens de operationalisatie vertaal je het theoretisch concept naar concrete waarnemingen. In dit plan beschrijf je ook de aard van de data of variabelen in je onderzoek.- Het steekproefplan beschrijft bij welke eenheden je data wilt verzamelen en hoe je deze eenheden identificeert. Hierna geef je ook nog voorlopige informatie over de praktische uitvoering, zoals wanneer en waar je data wilt verzamelen.* In het onderzoeksplan kijk je ook vooruit naar wat je gaat doen nadat je data hebt verzameld. In het data-analyseplan beschrijf je hoe je de verzamelde data wilt analyseren. In het rapportageplan geef je aan hoe je jouw antwoorden op de vraagstelling bekend wil maken (bijv. in wet. artikel).

2.3 Literatuuronderzoek: voorbereiding op het onderzoeksplan- Onderzoekers stellen zich d.m.v. literatuuronderzoek zo goed mogelijk op de hoogte van wat er

ONDERZOEKSMETHODEN

bekend is over het onderwerp dat zij willen onderzoeken. Met zo’n literatuuronderzoek proberen onderzoekers een overzicht te krijgen van de relevante publicaties die er op hun interessegebied verschenen zijn. Tegelijkertijd moeten ze deze publicaties ook beoordelen en nagaan wat de waarde van het gerapporteerde onderzoek is. * Een verkenning van de literatuur kan zowel betrekking hebben op de inhoudelijke kant (de probleemstelling) van het onderzoek als op de methodologische kant (het onderzoeksontwerp).

Hoe ga je te werk bij zo’n literatuuronderzoek?

Bepaling van het globale thema waar je belangstelling voor hebt, door een aantal trefwoorden vast te leggen.

Het kiezen met welke zoekmachine of in welke database je gaat zoeken naar literatuur.

-> Op deze manier vind je al snel veel eerdere studies. Het is dan handig om een systematisch overzicht van de meest interessante studies te maken.- Een literatuuronderzoek naar voorgaande studies geeft dus idealiter antwoord op de vraag welke kennis al bekend is, welke kennis nog ontbreekt en welke kennis wordt betwist.

2.4 De probleemstelling- In wetenschappelijk onderzoek staat een probleem voor een vraagstuk oftewel een set van samenhangende vraagstellingen. De probleemstelling bestaat uit (1) de vraagstelling, (2) de doelstelling van het onderzoek en (3) een theoretisch raamwerk of conceptueel model.* Een goede en volledige probleemstelling bevat idealiter een overkoepelende vraagstelling gevolgd door een set daarmee samenhangende deelvraagstellingen en geeft voldoende aanwijzingen voor het onderzoeksontwerp. Daarnaast moet er met praktische en ethische overwegingen rekening gehouden worden. Een goed onderzoeksplan eindigt met een tijdsplanning en begroting.

2.4.1 De vraagstelling- De vraagstelling van een onderzoek kan worden getypeerd als een overkoepelende vraag die jij wilt beantwoorden en die weergeeft wat jij precies wilt onderzoeken. Deelvragen specificeren de onderdelen van de vraagstelling. De antwoorden daarop leiden naar het antwoord op de gehele vraagstelling. Verschillende typen vraagstellingen:

Beschrijvende vraagstellingen: te herkennen aan formuleringen die beginnen met woorden als wie, wat voor, welke, wanneer en hoe…? * Beschrijvende trendvraagstelling: vraagstelling m.b.t. tenminste 2 tijdtippen.* Beschrijvende comparatieve vraagstelling: vraagstelling m.b.t. tenminste 2 locaties.

Verklarende vraagstellingen: te herkennen aan woorden als waarom, waardoor, hoe komt het dat en wat is de reden voor…? Het startpunt is een verschijnsel waarvoor men verklaringen zoekt.

Voorspellende vraagstellingen: te herkennen aan formuleringen met termen als ‘tot welke … leidt…? en ‘wat gebeurt er als gevolg van…? Hierbij gaat het om concrete voorspellingen van data die je in het onderzoek verwacht aan te treffen. In fundamenteel wetenschappelijk onderzoek zijn deze vraagstellingen vaak het uitgangspunt voor het toetsen van hypothesen.

* Verklarende en voorspellende vraagstellingen zijn zogenaamde causale (oorzakelijke) vraagstellingen. Voorwaarden voor spreken van causale relaties:

De oorzaak gaat duidelijk vooraf in de tijd aan het gevolg. Oorzaak en gevolg hangen duidelijk samen; ze zijn empirisch waarneembaar en gecorreleerd. De samenhang kan niet worden ‘weg verklaard’ door een derde verschijnsel.

2.4.2 De doelstelling- De doelstelling geeft aan waarom het onderzoek wordt gedaan en wat de onderzoekers ermee

ONDERZOEKSMETHODEN

nastreven. In wetenschappelijk onderzoek worden kennisproblemen van praktijkproblemen onderscheiden.

Fundamenteel wetenschappelijk onderzoek: hierbij gaat het om een kennisprobleem waarbij onderzoekers beogen meer kennis en inzicht te verkrijgen om zodoende het kennisprobleem op te lossen (= wetenschappelijke relevantie).

Toegepast/praktijkgericht wetenschappelijk onderzoek: praktische problemen van aanwijsbare mensen of groepen in de samenleving vormen het uitgangspunt voor onderzoek. De onderzoekers beogen data en/of inzichten aan te dragen die gebruikt kunnen worden bij het vinden en uitproberen van praktische oplossingen voor deze problemen. Deze oplossingen kunnen ook relevant zijn voor andere groepen dan de direct aanwijsbare betrokkenen (= maatschappelijke relevantie).

* Zeer vaak is sociaalwetenschappelijk onderzoek gedeeltelijk fundamenteel en gedeeltelijk toegepast. In de doelstelling van een onderzoek moet worden aangegeven wat de wetenschappelijke en maatschappelijke relevantie is van het onderzoek.* Valorisatie/impact: onderzoekers dienen vooraf aan te geven voor welke maatschappelijke groepen of instituties hun onderzoek waardevol zal zijn. - Bij de doelstelling is er verder het onderscheid tussen explorerend onderzoek en toetsend onderzoek van belang.

Explorerend onderzoek: als er nog maar weinig kennis aanwezig is (binnen het fundamenteel wetenschappelijk onderzoek) of als er nog geen praktische oplossingen bestaan voor een bepaald probleem (binnen het toegepaste wetenschappelijke onderzoek).

Toetsend onderzoek: als onderzoekers en/of opdrachtgevers voldoende kennis en/of adequate oplossingen denken te hebben, is het van belang om na te gaan of die kloppen.

* Bij de formulering van de doelstelling van een onderzoek spelen diverse belanghebbenden een rol (bijv. externe instanties als opdrachtgever, universiteiten, financiers, Nederlandse Organisatie voor Wetenschappelijk Onderzoek). In alle gevallen moeten wetenschappelijk onderzoekers hun eigen onderzoeksdoelstelling formuleren.

Onderzoek en maatschappelijke ontwikkelingen- Sociale, economische, politieke en culturele omstandigheden beïnvloeden in sterke mate de motivatie en doelstelling van onderzoekers.

2.4.3 Het conceptuele model of theoretisch raamwerk- Theoretisch raamwerk: de algemene leidende gedachte waarin het streven schuilgaat om die gedachte uit te werken tot een theorie. Het kan worden weergegeven als een model: een vereenvoudigde weergave van hoe onderzoekers denken dat een gedeelte van de werkelijkheid eruitziet. In een raamwerk/model komen de begrippen uit je vraagstelling terug en geeft je aan hoe ze met elkaar in verband staan. * Mediërende factoren (= mediators) + modererende factoren (= moderators)

2.5 Onderzoeksontwerp- Op basis van de probleemstelling kiezen onderzoekers voor een specifieke manier van onderzoek doen. Gegeven alle voorwaarden waaronder wordt gewerkt, kiezen onderzoekers dat onderzoeksontwerp dat het beste antwoord kan geven op de overkoepelende vraagstelling en de daaronder ressorterende onderzoeksvragen waarmee zij tevens het beeste de doelstellingen realiseren. – grootschalig veldonderzoek, experiment en etnografisch veldonderzoek. -> In het onderzoeksontwerp maak je dus een plan voor de aanpak + uitvoering van het onderzoek.

ONDERZOEKSMETHODEN

2.5.1 Opzet- De opzet geeft de structuur voor de dataverzameling aan met de volgende kenmerken: de mate van controle die de onderzoeker nodig heeft, het tijdsperspectief en het aantal momenten van dataverzameling.

Beschrijvende vraagstelling – als je generaliserende uitspraken wilt gaan doen, is een grootschalig veldonderzoek de aangewezen opzet. Als je graag precies wilt weten hoe bepaalde condities in het leven van alledag van mensen eruitziet, kun je gebruik maken van etnografisch onderzoek.

Causale vraagstelling – als je geïnteresseerd bent in de invloed van een bepaald verschijnsel op iets anders, kun je ervoor kiezen om een experiment op te zetten.

-> Combinaties van onderzoeksopzetten komen ook voor (= mixed methods design). - Het tijdsperspectief van een opzet kan het verleden, heden, de toekomst of een combinatie betreffen.

Retrospectief onderzoek: je verzamelt data over het verleden. Je gaat vooral op zoek naar historische data en statistieken, maar je kunt ook overwegen mensen over hun ervaringen te interviewen (oral history).

Prospectief onderzoek: je verzamelt data over de toekomst.

-> Er zijn ook vraagstellingen die een retrospectieve-prospectieve opzet vergen (bijv. na wetswijziging kun je onderzoeken of er een trendbreuk vast te stellen is). - Het aantal momenten van dataverzameling kan uiteenlopen van één moment of een korte periode tot vele momenten.

Longitudinaal onderzoek: onderzoek wordt op een aantal specifieke momenten herhaald. Het doel van longitudinaal onderzoek is om na te gaan of er sprake is van een verschuiving of van een ontwikkeling.

Panelopzet: je kiest meerdere dataverzamelingsmomenten waarbij je bovendien steeds weer dezelfde personen ondervraagt. Je kunt dan in tegenstelling tot bij longitudinaal onderzoek veranderingen in individuele levens nagaan en beschrijven.

2.5.2 Het dataverzamelingsplan- In het dataverzamelingsplan beschrijf je welke data je gaat verzamelen. Het gaat hier om de relatie tussen enerzijds de veelal abstracte theoretische concepten uit je vraagstelling en anderzijds de feitelijke vragen of observaties die je voorstelt om die theoretische concepten waarneembaar of bevraagbaar te maken (= operationalisatie). Onderzoekers kunnen bijv. individuen interviewen, hen een vragenlijst opsturen of hen observeren. * Meting/meetinstrument: de vraag wat onderzoekers precies van mensen willen weten die hen antwoorden willen geven.

Kwantitatief onderzoek: hierbij wordt er over het algemeen gebruikgemaakt van voorgestructureerde dataverzamelingsplannen.

Kwalitatief onderzoek: hierbij wordt er vooral tekst verzameld, zoals antwoorden op open vragen of een beschrijving van wat je als onderzoeker ziet.

Gemengde methoden onderzoek: onderzoek met zowel kwalitatieve als kwantitatieve componenten (= mixed methods research).

2.5.3 Het steekproefplan- De onderzoeker moet zich bij het maken van een onderzoeksontwerp al afvragen ‘wie’ of ‘wat’ in het onderzoek wordt onderzocht, in de meeste gevallen verzamel je data via individuen. Onderzoekers proberen die onderzoekseenheden te definiëren en identificeren. Uit de vraagstelling moet blijken wie of wat de eenheden zijn.* Het is van belang onderscheid te maken tussen de eenheden van het onderzoek en degenen die de

ONDERZOEKSMETHODEN

onderzoeker over die eenheden informeert.* De onderzoekseenheden worden bij verschillende manieren van onderzoek doen met verschillende termen aangeduid (zoals objecten, deelnemers, participanten, respondenten).- Meestal is het niet mogelijk en niet nodig om alle mogelijke eenheden van onderzoek in jouw onderzoek te betrekken, maar neem je een steekproef.

2.5.4 Wanneer wil je de data verzamelen?- Wanneer de onderwerpen die onderzocht worden niet specifiek tijdgebonden zijn, is de onderzoeker vrij om het tijdstip te bepalen waarop het onderzoek plaatsvindt. - Bij onderzoek in de sociale wetenschappen varieert de duur van de dataverzameling enorm. En soms zijn er meer dataverzamelingsmomenten binnen een onderzoek.

2.5.5 Waar wil je de data verzamelen?

Primair onderzoek: onderzoekers gaan zelf de data verzamelen om de eigen vraagstelling te beantwoorden (bijv. experiment). De resultaten worden dan vastgelegd als de te analyseren data. Dan is de vraag waar het onderzoek plaatsvindt. Die plaats is belangrijk omdat het de resultaten kan beïnvloeden.

Secundair onderzoek: onderzoekers maken gebruik van bestaande data die al eerder zijn verzameld. Zulke bestaande data kan op allerlei plaatsen zijn gedeponeerd (bijv. archieven).

2.5.6 Het data-analyseplan- De vraagstelling en het soort data dat verzameld is, bepalen de manieren waarop je data kunt analyseren.* Bij kwalitatieve data reduceer en structureer je teksten in de analysefase voordat je erover rapporteert. Zo kunnen onderzoeksgegevens bijv. worden vergeleken.* Bij een experiment en grootschalig veldonderzoek gaat het vaak om het opsporen van kenmerken waarin groepen van elkaar verschillen en om verbanden tussen kenmerken en/of verschijnselen. Bij deze dataverwerking speelt statistiek een grote rol.

2.5.7 Het rapportageplan- In dit deel van het onderzoeksplan geef je aan hoe je de resultaten van je onderzoek denkt te rapporteren.* Wanneer je meent dat je een serieuze en innovatieve bijdrage kunt leveren aan wetenschappelijke inzichten, kun je besluiten om te proberen om je werkstuk ‘om te schrijven’ naar een wetenschappelijke publicatie. In alle gevallen zal je moeten bedenken op welke wijze je de verzamelde data en data-analyses op transparante manier beschikbaar kunt maken voor andere onderzoekers.

2.5.8 Protocol ten behoeve van controleerbaarheid van onderzoek- Wijzen van dataverzameling:

Grootschalige dataverzamelingen (gdv) Etnografische dataverzamelingen (edv) Mediale dataverzamelingen (mdv)

-> Zie boek p. 58 en 59.

* Alle onderzoekers bereiden dossiers voor over hun onderzoek op een wijze die, voorafgaande aan de definitieve publicatie, controleerbaar is voor derden in het algemeen.

2.6 Ethische en praktische overwegingen- Onderzoekers moeten hun keuzen in het onderzoeksplan beargumenteren door een afweging te maken tussen de kennisopbrengst enerzijds en de mogelijke schade voor bepaalde groepen

ONDERZOEKSMETHODEN

anderzijds. Het behoort eveneens tot de eigentijdse ethische plicht van onderzoekers dat zij elkaar kritisch-constructief bevragen over de onderzoeksdata.-> Steeds vaker worden onderzoeksplannen waarbij mensen worden onderzocht verplicht voorgelegd aan ethische commissies voor mensgebonden onderzoek.

2.6.1 Ethiek- De relatie tussen onderzoeksontwerp en ethiek houdt in dat de ethiek de vraag en de methode bepaald, niet andersom. * De gang van zaken in het onderzoek en de uitkomsten van het onderzoek blijven afhankelijk van wat de maatschappij via de ethiek toestaat.

2.6.2 Praktische overwegingen- Het onderzoeksontwerp wordt ook bepaald door praktische voorwaarden, zoals de beschikbare tijd en de beschikbare middelen.* Tijdsplan: omvat de duur van het beoogde onderzoek als geheel en de invulling van de afzonderlijke fasen daarbinnen. Grofweg worden die fasen in een onderzoek verdeeld naar probleemstelling, dataverzameling/veldwerk, data-analyse en rapportage. D.m.v. een tijdsplan kun je structuur geven aan het verloop van het onderzoek. -> De vraagstelling in combinatie met de beschikbare tijd en middelen bepalen de haalbaarheid van een onderzoek.

2.7 Wijzigingen in het onderzoeksplan- Een onderzoeksplan lijkt altijd stap voor stap en geheel volgens plan uitgewerkt, maar deze voorstelling verschilt soms van de praktijk. Je mag het plan tussentijds wijzigen of bijstellen als daar goede redenen voor zijn. Soms blijkt pas bij de uitvoering van het onderzoek dat iets niet werkt of niet te realiseren valt. Het kan ook zijn dat er een vooronderzoek wordt gedaan en het hoofdonderzoek vervolgens wordt bijgesteld. Deze bijstellingen worden niet altijd in het eindverslag gepresenteerd.

H.4 Theorieën, hypothesen en operationalisaties

4.1 Inleiding en leerdoelen- Theorie: samenhangend stelsel van uitspraken waarmee wordt geprobeerd verschijnselen te beschrijven, verklaren of voorspellen. Theorieën zijn betrekkelijk abstracte stelsels met abstracte begrippen die wel gedefinieerd of nader omschreven moeten worden. * Operationaliseren is een bijzonder wezenlijke stap in de keten van vraagstellingen via theorieën en hypothesen naar de waarneming van de maatschappelijke verschijnselen waarvoor je als onderzoeker belangstelling hebt. Fundamentele criteria bij operationalisaties zijn validiteit en betrouwbaarheid.

4.2 Theorie als samenhangend stelsel van uitspraken- Een theorie biedt een overkoepelend kader waarbinnen onderzoek kan plaatsvinden en naar aanleiding waarvan onderzoekers specifieke hypothesen kunnen opstellen en toetsen.- Deductief-nomologisch model (DN-model): een model waarbinnen specifieke uitspraken (= hypothesen) afgeleid kunnen worden uit algemene uitspraken (vergelijk deductieve fase uit empirische cyclus). In algemene uitspraken beogen we een bepaald patroon in de werkelijkheid weer te geven (soms zijn dit wetmatigheden). * Niet iedere theorie vormt automatisch een deductief-nomologische verklaringsmodel/syllogisme (= logische redenering waaruit je een conclusie afleidt).

Voorwaarden voor een verklaringsmodel- Een theorie vormt pas een DN-model als er voldaan is aan de volgende voorwaarden:

ONDERZOEKSMETHODEN

De uitspraken binnen de theorie zijn precies geformuleerd: alle begrippen moeten goed gedefinieerd of goed omschreven zijn.

De uitspraken kunnen worden geordend naar algemeenheid: sommige uitspraken (kern van de theorie) zijn zeer algemeen, terwijl andere uitspraken (hypothesen) concreter zijn.

Er moet een logisch verband zijn tussen de verschillende uitspraken binnen een theorie. Dit houdt in dat de hypothesen afgeleid moeten kunnen worden uit de algemenere uitspraken en de aannames.

De specifieke uitspraken van het model, de hypothesen, in de empirie, in de sociale realiteit, getoetst moeten kunnen worden.

* De hypothesen vormen de concrete uitspraken die zo concreet zijn dat je met een goed onderzoeksplan kunt nagaan of ze standhouden bij waarnemingen in de empirische werkelijkheid. - Een belangrijke eigenschap van verklaringsmodellen in de sociale wetenschappen is dat de verschillende uitspraken binnen een dergelijk model niet altijd deterministisch zijn. Dit komt erop neer dat de verbanden tussen verschillende abstracte begrippen niet allesbepalend zijn: bijna altijd spelen andere factoren ook een rol. De verbanden zijn eerder probabilistisch: het gaan om waarschijnlijkheden en niet om absolute zekerheden.- Een andere eigenschap van deze modellen is dat er veelal geen aandacht wordt besteed aan de bij wie-, waar- en wanneer-vragen die zo belangrijk zijn in het onderzoeksontwerp. Die informatie zal je veelal wel in de context van de publicatie aantreffen, maar niet in de theoretische modellen. * Meestal bestaan theorieën in de sociale wetenschappen uit een groot aantal uitspraken.

4.3 Methodologische spelregels- Bij het formuleren van uitspraken moeten onderzoekers zich aan een aantal methodologische spelregels houden. Deze spelregels hebben te maken met de eisen die gesteld worden aan wetenschappelijke kennis.

4.3.1 Empirische waarnemingen en toetsbaarheid= de juistheid of onjuistheid van een uitspraak moet nagegaan kunnen worden door op een systematische manier empirische gegevens te verzamelen om zo te zoeken het waarheidsgehalte van je uitspraken na te gaan.

Verificationisme: het streven naar bevestiging (= verificatie) van uitspraken (vaak bij empirische-interpretatieve traditie).

Falsificationisme: het streven naar weerlegging (= falsificatie) van uitspraken (vaak bij empirisch-analytische traditie).

- Inductie: het proces waarbij een algemene uitspraak ondersteund wordt door specifieke uitspraken-> Inductieprobleem: de onmogelijkheid om aan de hand van specifieke uitspraken te concluderen dat een algemene uitspraak waar is. Het is vaak niet mogelijk om aan de hand van verificatie na te gaan of een algemene uitspraak waar is (empirisch-interpretatief), maar biedt falsificatie meer zekerheid (empirisch-analytisch) over de (on)waarheid van je theorie. Onderzoekers van de empirisch-analytische traditie trekken immers vaak een steekproef, waarbij er maar één afwijkend antwoord nodig is om te kunnen stellen dat de algemene uitspraak niet waar is.* Deze zekerheid die door falsificatie wordt geboden heeft veel onderzoekers ertoe gebracht om aan het streven naar falsificatie de voorkeur te geven boven het streven naar verificatie. -> Probleem van onderbepaaldheid/onderdeterminatie: falsificatie vertelt ons nog niet precies welk van de uitspraken in de theorie onwaar is. - Binnen de wetenschap is het belangrijk dat je algemene uitspraken en aannames nooit als de definitieve waarheid ziet, maar dat wetenschappelijke kennis altijd voorlopige kennis is. In vervolgonderzoek kunnen er weer nieuwe hypothesen afgeleid worden en getoetst worden. - De eis van toetsbaarheid leidt er binnen de wetenschap toe dat bepaalde uitspraken of hypothesen buiten beschouwing worden gelaten – speculatieve uitspraken, normatieve uitspraken, definities en

ONDERZOEKSMETHODEN

uitspraken met een onscherpe tijds- en/of plaatsaanduiding. Voor deze uitspraken is er zowel geen bevestiging als weerlegging in de werkelijkheid te vinden. * Hypothesen moeten ondubbelzinnig geformuleerd zijn. Dat betekent dat tijds- en plaatsaanduidingen moeten worden gegeven, dat in hypothesen geen abstracte begrippen mogen voorkomen en dat vage en controversiële termen moeten worden vermeden.

4.3.2 Maximale informativiteit- De mate van informativiteit van een uitspraak kan worden nagegaan door het aantal waarnemingen/mogelijke toetsuitslagen dat de uitspraak weerlegt te tellen.* Potentiële falsificatoren: het aantal mogelijke weerleggingen.-> De eis van maximale informativiteit van uitspraken gaat hand in hand met het streven van falsificatie binnen de wetenschap.- We kunnen de relatieve mate van informativiteit van een aantal uitspraken evalueren door naar het domein van de uitspraken en naar de mate van specificiteit van de uitspraken te kijken. Hoe informatiever een uitspraak is, hoe beter de uitspraak voldoet aan toetsbaarheid. * Kritiekpunt van kwantitatief georiënteerde sociale wetenschappers: het gevaar bestaat dat onderzoekers verzanden in te specifiek gemaakte uitspraken. Daarmee wordt de afstand tussen de harde kernuitspraken in de theorie en de uiteindelijke onderzochte hypothesen zo groot dat de link tussen beide nauwelijks meer te achterhalen is.

4.3.3 Transparantie en controleerbaarheid- Eén enkel weerleggend resultaat leidt vrijwel nooit tot verwerping van de harde kern van de theorie. Hierbij is het belangrijk dat onderzoek repliceerbaar is. Om dit te kunnen doen moet wetenschappelijke kennis openbaar zijn en moet explicitering van uitspraken plaatsvinden. Dat betekent dat onderzoekers in hun verslaggeving volledig transparant, uitputtend en nauwkeurig moeten aangeven welke beslissingen zij hebben genomen en hoe zij tot de gevonden resultaten zijn gekomen.* Persoonlijke voorkeuren van onderzoekers zullen en mogen in het wetenschappelijk onderzoek best een rol spelen.* I.v.m. natuurwetenschappers doen sociale wetenschappers in de praktijk veel minder met de herhaalbaarheidseis, maar er bestaat de laatste jaren wel meer belangstelling voor. Ter verdediging van sociale wetenschappers moet worden gezegd dat sociaalwetenschappelijk onderzoek moeilijk op exact dezelfde wijze herhaald kan worden, omdat de sociale werkelijkheid voortdurend verandert. -> Des te belangrijker zijn de eisen van transparantie en methodologische explicitering.

4.4 Wetenschappelijke definities- Om wetenschappelijke uitspraken onderzoekbaar te maken moet je ze als onderzoeker vertalen naar observeerbare sociale verschijnselen. Abstracte begrippen moeten nader gedefinieerd of omschreven worden. Criteria van de omschrijving:

De gebruikte begrippen in de omschrijving worden op hun beurt gedefinieerd, behalve wanneer ze voor iedereen duidelijk zijn en daarom geen nadere definitie nodig hebben.

Het begrip of synoniemen daarvan mogen niet in de omschrijving voorkomen. De omschrijving moet compleet zijn; het omvat alles wat men eronder wil verstaan. De omschrijving dient uit te sluiten wat men er niet onder wil verstaan. De omschrijving moet bij voorkeur niet afwijken van gangbare omschrijvingen. De omschrijving mag geen normatief karakter hebben.

4.4.1 Definities van kenmerken: wat- Veel wetenschappelijke begrippen omschrijven kenmerken van de onderzochte eenheden (bijv. definitie van etniciteit).

ONDERZOEKSMETHODEN

4.4.2 Definitie van onderzoekseenheden: wie- Als onderzoeker moet je vastleggen welke populatie je in het onderzoek wilt betrekken (= doelpopulatie).

4.4.3 Definities van tijd en plaats: wanneer en waar- Als onderzoeker moet je vervolgens vaststellen op welke periode en op welke plaats, omgeving of situatie het onderzoek betrekking heeft. De tijdsperiode waarvoor de uitspraak geldt, moet worden begrensd.

4.5 Operationaliseren

4.5.1 Waarneembaar maken van begrippen in de vraagstelling- Operationaliseren = het steeds concreter waarneembaar maken van de begrippen in de vraagstelling en/of de hypothesen (= ook wel operationele definitie genoemd).- Concepten/constructen: wetenschappelijke begrippen van een hoog abstractieniveau die je als onderzoeker nooit direct kan waarnemen of meten, ook niet als ze nauwkeurig zijn gedefinieerd. De vertaalslag van begrip naar variabele is ingewikkelder.* In principe kunnen we alleen kennis van verschijnselen krijgen via operationalisatie, maar bijv. het indirect vragen naar meningen vormt ook wel een vorm van waarneming.-> Operationalisme: er wordt gesteld dat er in een theorie alleen begrippen mogen voorkomen die haarscherp geoperationaliseerd kunnen worden en dat elk begrip geheel gelijk moet zijn aan zijn operationalisatie.* In het algemeen wordt er vaak onderscheid gemaakt tussen het oorspronkelijke begrip (= begrip zoals bedoeld) en de operationalisatie daarvan (= begrip zoals bepaald). Het is namelijk zo dat constructen vaak op verschillende manieren geoperationaliseerd kunnen worden.

4.5.2 Operationaliseren van kenmerken uit hypothesen- Bij grootschalig veldonderzoek formuleer je als onderzoeker meerdere vragen in vragenlijsten als operationalisaties van de begrippen uit de vraagstelling of de hypothesen. Je stelt meerdere vragen om zo veel mogelijk aspecten te vangen.* Het resultaat van de vraag (met diverse antwoordmogelijkheden) wordt ook wel de variabele genoemd omdat de antwoorden van je respondenten, de zogenaamde waarden, variëren.

Van enkelvoudige vragen naar meervoudige vragen: tests, toetsen en schalen- Wetenschappers meten kenmerken, waarvoor tests zijn ontwikkeld. Als het gaat om het vaststellen van kennis, spreekt men ook wel van een toets of een tentamen. In het kader van wetenschappelijk onderzoek worden er meetinstrumenten, doorgaans schalen genoemd, gebruikt om kenmerken te meten van personen, groepen of organisaties. -> Het centrale idee bij de constructie van tests, toetsen en schalen is dat het sociale verschijnsel waarvoor je als onderzoeker belangstelling hebt, zo complex is dat je dat niet met een enkelvoudige vraag kunt vaststellen. Je formuleert eigenlijk multipele operationalisaties om het verschijnsel waarneembaar te maken. De afzonderlijke vragen of stellingen worden items genoemd, aan de hand waarvan een score wordt bepaald. Deze items kun je vaak vinden in voorgaand onderzoek.

Variabelen en hun waarden- Het is van belang dat kenmerken twee of meer waarden kunnen aannemen. Waarden zijn de categorieën of scores die die op de variabelen kunnen worden onderscheiden (= bijv. bij de variabele ‘geslacht’ horen de waarden ‘man’ en ‘vrouw’). De datamatrix- Wanneer je al je vragen hebt voorgelegd aan een steekproef van je doelpopulatie, wil je die informatie op een overzichtelijke en voor statistische analyses geschikte wijze opslaan. Daartoe kunnen eenheden, variabelen en waarden bij elkaar gebracht worden in een datamatrix.

ONDERZOEKSMETHODEN

- Onderzoeksgegevens/data van het onderzoek: de waarden van alle eenheden op alle variabelen.* Als je in een datamatrix cijfers i.p.v. verbale labels wilt opslaan, dan moet je een codeboek maken.

Meetniveau van variabelen

Nominaal meetniveau: variabelen benoemen de categorie waar het in behoort zonder dat er een vanzelfsprekende ordening van categorieën is (bijv. ‘geslacht’). Kwalitatief-> Hypothesen gaan vaak in op verschillen of overeenkomsten tussen verschillende groepen.

Ordinaal meetniveau: er is wel een logische ordening van verschillende categorieën te benoemen (bijv. ‘laag’, ‘middelbaar’ en ‘hoog’ in beroepsgroepen). Over de afstand tussen de verschillende categorieën kan niet veel gezegd worden. Kwalitatief-> Hypothesen gaan vaak in ordening.

Interval meetniveau: er is een logische ordening van verschillende categorieën te benoemen waarbij de intervallen tussen waarden zijn te vergelijken (bijv. ‘temperatuur’ uitgedrukt in graden Celsius). Kwantitatief-> Hypothesen gaan vaak om algemene relaties tussen de variabelen en de richting daarvan.

Ratio meetniveau: er is een logische ordening van verschillende categorieën te benoemen waarbij de afstanden tussen de waarden gelijk zijn en dat er een absoluut nulpunt is. Telgegevens en percentages zijn de belangrijkste vormen van ratio variabelen binnen de sociale wetenschappen (bijv. leeftijd, aantal kinderen per gezin). Kwantitatief-> Hypothesen gaan vaak om algemene relaties tussen de variabelen en de richting daarvan.

* Het is ook mogelijk dat bij sommige variabelen verschillende meetniveaus mogelijk zijn.- Bij het meten van attitudes wordt vaak gebruikgemaakt van de Likert-schaalitems, waarbij de antwoordcategorieën op een schaal van bijv. 1 tot 5 worden geplaatst (bijv. van 1= helemaal mee eens tot 5= helemaal mee oneens).

4.5.3 Operationaliseren van eenheden- De eenheden in sociaalwetenschappelijke uitspraken zijn de objecten waarover je als onderzoeker iets wilt zeggen. Eenheden kunnen individuele personen zijn, maar ook verzamelingen van individuen zoals gemeenten, groepen, landen, organisaties of bedrijven. Toch is het ook dan vaak aangewezen om de individuen te ondervragen.* Nadat je de doelpopulatie definieert, moet je als onderzoeker bepalen welke eenheden precies onderzocht gaan worden: hoe je deze gaat benaderen en wie er ondervraagd zal gaan worden. De doelpopulatie wordt als het ware geoperationaliseerd (= operationele populatie).

4.5.4 Operationaliseren van plaats en tijd- Door operationalisatie van de constructen wordt in veel gevallen duidelijk welke plaats en tijd je als onderzoeker bedoelt; dat wordt meestal duidelijk bij de beschrijving van de dataverzameling.

4.6 Kwaliteit van de operationalisaties: validiteit en betrouwbaarheid- Hoe goed de resultaten en de conclusies van je onderzoek zijn, hangt sterk af van de vraag hoe goed de waarnemingen zijn, die op haar beurt weer afhangt van de kwaliteit van de operationalisaties. Belangrijk is de vraag of je met je waarnemingen daadwerkelijk de bedoelde constructen in je onderzoek meet.

De eerste vraag is of je waarnemingen die bepaalde aspecten in de sociale werkelijkheid in voldoende mate dekken. – validiteit/geldigheid

De tweede vraag is of je waarnemingen nauwkeurig zijn en niet afhangen van toevallige en onbedoelde invloeden. – betrouwbaarheid/nauwkeurigheid

- Betrouwbaarheid: de mate waarin toevallige meetfouten kunnen worden uitgesloten. Onderzoekers nemen aan dat deze fouten niet systematisch zijn en daarom de onderzoeksresultaten

ONDERZOEKSMETHODEN

niet systematisch beïnvloeden. Het algemene beeld van de onderzoeksresultaten wordt daarom niet aangetast door toevallige fouten. = afwezigheid van toevallig meetfouten.- Validiteit: de mate waarin je als onderzoeker met je waarnemingen ook daadwerkelijk die aspecten van sociale verschijnselen in de werkelijkheid dekt waarop de constructen uit je vraagstelling en/of hypothesen betrekking hebben. Bij validiteit gaat het om systematische meetfouten die leiden tot een systematische vertekening van de resultaten. Systematische fouten tasten de validiteit aan. = afwezigheid van systematische meetfouten.

4.6.1 Validiteit van gemeten variabelen- Bij tests en schalen zijn er verschillende manieren bedacht om na te gaan of inderdaad gemeten wordt wat men wil weten.

Inhoudsvaliditeit- Als onderzoeker moet je zorgvuldig bepalen wat jij verstaat onder een begrip. De uiteindelijke items die je als onderzoeker in je schaal opneemt, hebben dan de inhoudsvaliditeit (‘content validity’): het instrument bevat alle of ten minste vele soorten items die er volgens deskundigen die je zijn voorgegaan in horen te zitten. Bij inhoudsvaliditeit gaat het om het volgen van een zorgvuldige procedure waarbij je collega’s betrekt en met hen discussieert.

Soortgenootvaliditeit- Het kan zijn dat er al een meetinstrument bestaat voor het meten van een bepaald begrip, maar dat dit instrument niet meer voldoet. Zeker wanneer je als onderzoeker meent dat een meetinstrument niet meer van deze tijd is, is het aangewezen om een soort vooronderzoek uit te voeren waarbij je het oude en het nieuwe meetinstrument voorlegt aan een nader omschreven doelpopulatie. Dan verschilt alleen het onderwerp van de items die je voorlegt aan respondenten. Als er dan inderdaad een sterke samenhang optreedt, is er sprake van soortvaliditeit (= ‘congruent validitity’).

Convergente validiteit- Wanneer je als onderzoeker beschikt over 2 instrumenten waarmee je hetzelfde verschijnsel kan worden gemeten en die inderdaad een sterke samenhang vertonen, dan wijst dat op convergente validiteit. Beide instrumenten meten dan hetzelfde begrip (bijv. zelfinvullijst en mondeling interview)Hierbij wil je aantonen dat de twee geheel verschillende manieren om hetzelfde construct te meten convergeren.

Construct- of begripsvaliditeit- De constructvaliditeit betreft de mate waarin de empirische waarnemingen, zoals gemeten, de theoretische begrippen of constructen dekken. Het is moeilijk direct te onderzoeken, maar is veeleer een kwestie van een discussie over de reikwijdte van een theoretisch begrip (bijv. bij het begrip ‘sociaal kapitaal’). Vaak hebben zulke begrippen vele subdimensies. * Omdat constructvaliditeit zo sterk gekoppeld is aan de theorie waarin dat construct een rol speelt, kun je op basis van één enkel onderzoek geen conclusies trekken over de constructvaliditeit van een instrument; daar zijn een aantal onderzoeken voor nodig.

Predictieve validiteit- Deze term wordt vooral gebruikt als het gaat om psychologische tests. Een test is bedoeld om een voorspelling te doen en heeft dus vooral een plaats in diagnostisch en praktijkgericht wetenschappelijk onderzoek, terwijl constructvaliditeit vooral een plaats heeft in fundamenteel onderzoek. * Als voorspellingen herhaaldelijk niet blijken uit te komen, is de predictieve validiteit van de test gering (bijv. Cito-toets -> niv. middelb. school). Wanneer ze veelvuldig uit blijken te komen stijgt het.

4.6.2 Betrouwbaarheid van gemeten variabelen

ONDERZOEKSMETHODEN

- Bij grootschalig veldonderzoek speelt betrouwbaarheid een belangrijke rol. Personen kunnen bij ieder item dat ze moeten beantwoorden onbedoelde fouten maken. De items van een test of schaal zijn verschillende operationalisaties van hetzelfde begrip (= parallelle operationalisaties). Als er veel parallelle items zijn, zullen de toevallige fouten elkaar opheffen.* Wanneer een item leidt tot veel fouten, zal de samenhang tussen het antwoord bij dit item en de score op de schaal als geheel laag zijn. In de itemanalyse wordt dit per item nagegaan. -> Hoge betrouwbaarheid: zolang de samenhang tussen de score op elk afzonderlijk item en de schaalscore hoog is. Er geldt ook: hoe meer betrouwbare items, hoe hoger de betrouwbaarheid van het instrument als geheel.- Bij het doen van een experiment worden variabelen gemanipuleerd. Een onderzoeker bevordert de betrouwbaarheid van een gemanipuleerde variabele door alle onderdelen van de experimentele manipulatie heel precies vast te leggen in een protocol, dat vervolgens steeds op dezelfde manier moet worden uitgevoerd.-> De betrouwbaarheid van een meting wordt meestal bepaald door de meting op een of andere manier te herhalen en dan de overeenstemming tussen beide metingen te bepalen. Hoe groter de overeenstemming tussen de beide metingen, hoe minder toevallige fouten er geconstateerd worden en dus hoe hoger de betrouwbaarheid.* Test-hertest betrouwbaarheid: bij schalen kan de betrouwbaarheid worden bepaald door deze met een korte tussenpoos twee keer af te nemen bij dezelfde onderzoeksgroep.* Test-paralleltest betrouwbaarheid: twee varianten van de meting tegelijk afnemen.* Split-half betrouwbaarheid: wanneer er maar één schaal is, die wel uit een groot aantal items bestaat, kun je als onderzoeker hiervan zelf 2 varianten maken door de schaal in tweeën te delen.- Bij observaties wordt het waargenomen gedrag door een observator in categorieën van een variabele geplaatst. Bij de inhoudsanalyse doet de codeur hetzelfde met de inhoud van de data. -> Hoe meer overeenstemming tussen de scores van de observator en de codeur, hoe minder toevallige fouten en dus hoe hoger de betrouwbaarheid (= interobservator/codeurbetrouwbaarheid.

4.6.3 Validiteit en de steekproef van onderzoekseenheden- Externe validiteit: in hoeverre de onderzoeksresultaten gegeneraliseerd kunnen worden naar de echte wereld.

Populatievaliditeit: de mate waarin de steekproef een goede afspiegeling is van de populatie waarnaar de onderzoekers willen generaliseren (= mate van representativiteit). * Als de steekproef niet representatief is, is de selectie van onderzoekseenheden niet valide: er wordt niet vastgesteld wat werd beoogd. De generaliseerbaarheid van de resultaten in de specifieke steekproef naar de doelpopulatie is dan in het geding. Door een aselecte steekproef te nemen proberen onderzoekers een representatieve steekproef te krijgen.

Ecologische validiteit: de mate waarin de resultaten van een onderzoek kunnen worden gegeneraliseerd naar andere plaatsen en andere tijden – naar andere omstandigheden. De vraag is of het onderzoek dezelfde resultaten zou opleveren bij gebruik van een geheel andere onderzoeksgroep, onderzoeksinstrumenten of andere manier van onderzoek doen.

4.6.4 Betrouwbaarheid van de steekproef van onderzoekseenheden- Betrouwbaarheid van de steekproef: het effect van het trekken van een aselecte steekproef. Als steekproeven aselect getrokken worden, zal elke steekproef misschien toevallig iets anders uitpakken dan de volgende. Statici noemen dit doorgaans de nauwkeurigheid van de schatting die ze op basis van de steekproef maken over een grootheid in de gehele populatie. -> Hoe groter de steekproef, hoe nauwkeuriger je een gemiddelde of percentage in de doelpopulatie kunt schatten.* Hoewel een tamelijk grote steekproef doorgaans gewenst is, wordt er in sommige gevallen toch met kleinere steekproeven gewerkt (bijv. bij etnografisch onderzoek).

ONDERZOEKSMETHODEN

4.7 Bruikbaarheid- Een eerste voorwaarde voor de bruikbaarheid van onderzoeksresultaten, is dat de resultaten voldoen aan de criteria van validiteit en betrouwbaarheid. Dit houdt in dat aan belangrijke methodologische eisen voldaan moet zijn.

Conceptueel gebruik= het gebruiken van de resultaten in een wetenschappelijke of maatschappelijke discussie. Het gaat daarbij om nieuwe gezichtspunten die van invloed kunnen zijn op wijzigingen in de probleemformulering en die daarmee indirect van invloed zijn op de manier waarop een probleem wordt aangepakt. * Conceptueel gebruik vindt vooral plaats wanneer de manier waarop een probleem gedefinieerd wordt niet meer voldoet, niet meer strookt met de werkelijkheid of geen uitzicht biedt op oplossingen.

Instrumenteel gebruik= het nemen van beleids- of veranderingsbeslissingen. Het gaat dan om praktijkgericht wetenschappelijk onderzoek waarbij de onderzoeksresultaten direct gebruikt worden of fundamenteel onderzoek waarvan de bevindingen worden toegepast.

Gebruik om te overtuigen= het onderzoek is ingesteld door een partij om argumenten te krijgen om haar standpunt te ondersteunen. Het doel is om bij de andere beslissers een beleidswijziging gedaan te krijgen in de richting van de doeleinden van deze partij. * Onderzoekers die zulk onderzoek doen lopen het gevaar dat druk op hen wordt uitgeoefend om hun conclusies in een bepaalde richting te formuleren. Het aanzien van sociaalwetenschappelijk onderzoek is er niet mee gebaat wanneer verschillende partijen met conclusies uit onderzoek komen die tegengestelde argumenten leveren.

- Bruikbaarheid: de mate waarin de aangedragen kennis bijdraagt tot verbetering van de te nemen beslissingen volgens de normen van degenen die daarover een oordeel vellen. * Methodologische beslissingen in praktijkonderzoek vallen soms anders uit dan in fundamenteel onderzoek. (1) De deelnemers aan het onderzoek beslissen vaak mee over de opzet van het onderzoek. Om de kans op instrumenteel gebruik te vergroten is het ook goed om de betrokkenen bij de beslissingen in het onderzoek te betrekken; dit geldt ook voor de beginstadia van een onderzoek:

Bij de operationalisatie wordt de vraagstelling concreet waarneembaar gemaakt. Als opdrachtgevers en uitvoerders meedenken is de kans het grootst dat op het onderzoek gebaseerde aanbevelingen ook uitvoerbaar zijn.

Betrokkenen zij het meest deskundig in het veld van onderzoek; zij kunnen dus ook veel hulp bieden bij het operationaliseren van begrippen.

Het onderzoek zelf kan een behoorlijke belasting betekenen voor het veld van onderzoek; betrokkenen kunnen daarop maar beter voorbereid zijn.

Tijdens het onderzoek kan blijken dat om methodologische redenen of praktische redenen een verandering van de vraagstelling noodzakelijk is.

Omstandigheden kunnen veroorzaken dat de beleids- of praktijkvragen gedurende het onderzoek veranderen, waarop men moet inspelen.

(2) Met name die aspecten van het onderwerp van studie worden onderzocht waarvan men vooraf denkt dat ze relevant zijn voor de te nemen besluiten. Opdrachtgevers zijn vooral geïnteresseerd in die aspecten van het beleidsterrein die zich lenen voor een interventie om de situatie te verbeteren.

4.8 Terugblik en vooruitblik: van vraagstelling naar theorie, hypothesen, operationalisaties en weer terug

ONDERZOEKSMETHODEN

- Zie schema in boek p. 146

H.6 Experiment

6.1 Inleiding en leerdoelen- Om goed inzicht te verkrijgen in oorzaak-gevolgrelaties is experimenteel onderzoek een goed onderzoeksontwerp. Het is daarbij noodzakelijk dat een onderzoeksontwerp aan belangrijke voorwaarden voldoet.

6.2 Probleemstelling: wat en waarom?

6.2.1 Vraagstelling: wat wil je precies weten?* Niet-experimenteel onderzoek: met niet-experimenteel is het moeilijk om een causaal verband aan te tonen, meestal is dat eerder een correlatie. Tussen de gevonden relatie kunnen namelijk andere factoren van invloed zijn. -> Confounding: een derde factor die een rol speelt in een relatie; een soort stoorzender. De onderzoeksresultaten worden in de war gebracht door een confounding variable/confound.- Het experiment biedt een manier om de invloed van confounds kwijt te raken. Door een in samenstelling vergelijkbare groep deelnemers in tweeën te delen en elk in een andere conditie te plaatsen, kun je de verschillen gaan onderzoeken.* Experiment: je veronderstelt van tevoren een causale relatie tussen 2 factoren, waarvan de ene de onafhankelijke variabele is en de andere de afhankelijke variabele. Je manipuleert de onafhankelijke variabele en kijkt of de verandering hiervan leidt tot een verandering van de afhankelijke variabele. -> Door de onafhankelijke variabele zelf te manipuleren en door de groepen zodanig samen te stellen dat er behalve de manipulatie geen verschillen zijn tussen de groepen, voorkom je dat er confounds zijn die invloed kunnen uitoefenen.Voorwaarden van het spreken van een causale relatie:

Er moet sprake zijn van samenhang/correlatie. Een eventuele verandering in de afhankelijke variabele moet plaatsvinden na een

verandering in de onafhankelijke variabele. De afwezigheid van een schijnrelatie, veroorzaakt door een confound.

6.2.2 Doelstelling: waarom wil je dit weten?- Je kunt een causale relatie onderzoeken m.b.v. een experiment, omdat je praktijkgerichte beweegredenen hebt of omdat je fundamenteel wetenschappelijk te werk wil gaan.* Praktijkgericht: je wilt weten hoe je de wereld kunt helpen veranderen. Het voordeel van experimenten voor praktijkgericht onderzoek is dat je de effecten van interventies kunt toetsen.* Fundamenteel: je wilt weten hoe de wereld in elkaar zit en bent nieuwsgierig. Experimenten lenen zich goed voor fundamenteel onderzoek omdat ze in staat zijn causale relaties aan te tonen.

6.2.3 Theoretisch raamwerk- Experimenteel onderzoek is altijd toetsend onderzoek, vrijwel nooit explorerend onderzoek. Van tevoren stel je op basis van theorie of eerdere onderzoeksresultaten een verwachting op. Je manipuleert meestal maar 1 of een beperkt aantal onafhankelijke variabelen.

Eenvoudig causaal model: een directe causale relatie tussen de onafhankelijke en afhankelijke variabele.

Moderatiemodel: er wordt dan verondersteld dat het effect van de onafhankelijke variabele niet voor iedereen hetzelfde is, maar wordt gemodereerd door een moderator (interactie).

Mediatiemodel: er speelt een mediator een rol die het effect van de onafhankelijke variabele op de afhankelijke variabele kan verklaren.

ONDERZOEKSMETHODEN

* Moderatie is interessant voor praktijkgericht en fundamenteel wetenschappelijk onderzoek.* Mediatie is vooral interessant voor fundamenteel wetenschappelijk onderzoek.

6.3 Onderzoeksontwerp: hoe?- Om te zorgen dat de onderzoeksresultaten van het experiment intern en extern valide zijn moet je vooraf een keuze maken over welk experimenteel ontwerp je daarvoor nodig hebt, hoe je alternatieve verklaringen kun vermijden en hoe je deelnemers aan je onderzoek kunt toewijzen aan condities binnen je ontwerp. Ook moet je beslissen wat voor data je wilt verzamelen, bij wie, wanneer en waar je dat gaat doen en hoe je die data wilt analyseren.

6.3.1 Ontwerpkeuzes maken

Pre-experimenteel ontwerp 1: het meest eenvoudige experimentele ontwerp maakt gebruik van en experimentele groep waarin deelnemers een experimentele stimulus krijgen aangeboden. Het ontwerp bevat een voormeting en een nameting. Het voordeel is dat je een bestaande groep (bijv. schoolklas) kunt gebruiken voor je onderzoek. Het nadeel is dat er tussen de voor- en nameting een tussentijds extern voorval kan optreden dat het verschil in scores op de afhankelijke variabele kan verklaren. Het risico op een dergelijke alternatieve verklaring is vooral groot wanneer er tussen de voor- en nameting veel tijd zit.

Pre-experimenteel ontwerp 2: een andere vergelijkingsbasis is de toevoeging van een controlegroep aan je pre-experimentele ontwerp. Hierbij worden 2 bestaande groepen in het onderzoek betrokken die niet zonder meer vergelijkbaar zijn en dus op achtergrondkenmerken kunnen verschillen. Deze kenmerken kunnen confounds vormen. Dit is dus een nadeel van dit ontwerp. Het voordeel is hier ook dat je gebruikmaakt van bestaande groepen. Een ander nadeel is dat de controlegroep geen experimentele stimulus ondergaat; het is verstandiger om de controlegroep ook een stimulus aan te bieden.

-> De beide pre-experimentele ontwerpen vormen geen solide basis om valide uitspraken te doen over de causale invloed van de onafhankelijke variabele op de afhankelijke variabele.

Quasi-experimenteel ontwerp: dit ontwerp stelt je in staat om niet alleen een vergelijking te maken tussen de beide groepen op tijdstip 2, maar ook om veranderingen over de tijd vast te stellen. Je neemt hierbij ook een voormeting op in je ontwerp. Ook is het mogelijk om te onderzoeken of het verschil tussen beide groepen op tijdstip 1 anders is dan het verschil op tijdstip 2 (interactie-effect/moderatie).* Een belangrijk verschil met pre-experimenteel ontwerp 2 is dat je streeft naar vergelijkbaarheid in achtergrondkenmerken bij bestaande groepen. * Clusterrandomisatie: je hebt de mogelijkheid om bestaande groepen op toevalsbasis aan de experimentele conditie dan wel aan de controleconditie toe te wijzen. - Het voordeel van deze werkwijze is dat je meer controle uitoefent en alternatieve verklaringen voor de gevonden verschillen op tijdstip 2 beter kunt uitsluiten.

Zuiver experimenteel ontwerp 1: * Randomiseren: je kunt nog meer controle uitoefenen op het uitsluiten van alternatieve verklaringen door de individuele deelnemers op toevalsbasis aan de condities toe te wijzen. Een succesvolle randomisatie betekent dat de groepen op tijdstip 1 vergelijkbaar zijn en dus niet veel verschillen wat betreft de scores op de afhankelijke variabele en op mogelijke confounds. Het voordeel van dit ontwerp is dat de nameting niet beïnvloed kan worden door een voormeting. Het nadeel van dit ontwerp is dat je niet kunt controleren wat de scores op de afhankelijke variabele op tijdstip 1 zijn.

Zuiver experimenteel ontwerp 2: je kunt dan beargumenteren dat de voormeting geen invloed uitoefent op de nameting. Hierbij is het tamelijk zeker dat verschillen in de afhankelijke variabele op tijdstip 2 toe te schrijven zijn aan de manipulatie en worden alternatieve verklaringen uitgesloten.

ONDERZOEKSMETHODEN

Zuiver experimenteel ontwerp 3: als je overtuigd bent dat de voormeting wel degelijk de nameting kan beïnvloeden, biedt het Solomon-viergroepenontwerp de mogelijkheid dat testeffect te onderzoeken. Hoewel het Solomon-viergroepenontwerp meer informatie oplevert dan de zuivere experimentele ontwerpen 1 en 2, is het nadeel dat het meer tijd, geld en deelnemers kost om het uit te voeren. Ook is de statistische analyse van de gegevens ingewikkelder.

* Tussen-proefpersonenontwerp: het toeval bepaalt welke deelnemers de experimentele stimulus ondergaan en welke deelnemers een placebo.* Binnen-proefpersonenontwerp: met meerdere nametingen ben je in staat om onderscheid te maken in het effect van de manipulatie op de korte en de lange termijn.

6.3.2 Alternatieve verklaringen vermijden- Het is belangrijk om te realiseren dat je met de keuzes die je in je ontwerp maakt alternatieve verklaringen voor het causale verband tussen de onafhankelijke en afhankelijke variabele kunt uitsluiten. Het onder controle brengen van potentiële bedreigingen draagt daarom bij aan het verhogen van de interne validiteit van je experimentele ontwerp.

Testeffect: de scores op een meting worden beïnvloed doordat de deelnemers op dezelfde wijze al eerder zijn gemeten. Dit kan optreden wanneer je gebruikmaakt van een voormeting of en serie van voor- en/of nametingen. Je kunt het testeffect uitsluiten door geen voormeting in je ontwerp op te nemen.

Instrumentatie: er wordt bij de metingen gebruikgemaakt van verschillende dataverzamelingsmethoden. Het kan dus zo zijn dat de verschillen tussen de voor- en de nameting niet zijn toe te schrijven aan de manipulatie maar aan de instrumentatie.

Verspreiding: lekkage van de experimentele stimulus. Deelnemers in de controlegroep kunnen via deelnemers uit de experimentele groep informatie ontvangen over de experimentele stimulus. In een dergelijke situatie wordt de controlegroep minder onderscheidbaar van de experimentele groep (= contaminatie/besmetting). Als onderzoeker dien je ervoor te zorgen dat het contact tussen deelnemers uit de experimentele groep en controlegroep wordt vermeden.

Selectie: groepen verschillen op achtergrondkenmerken en deze achtergrondkenmerken hangen tevens samen met de afhankelijke variabele. Door deelnemers op toevalsbasis toe te wijzen aan de experimentele conditie of de controleconditie zorg je ervoor dat de samenstelling van de groepen op achtergrondkenmerken vergelijkbaar wordt.

- Bedreigingen waar je minder controle over kunt uitoefenen als onderzoeker:

Proefleidereffect: door randomisatie of matching in het experimentele ontwerp toe te passen weten de deelnemers niet van tevoren aan welke conditie zij gaan deelnemen. Als de proefleider dat ook niet weet, is er sprake van een dubbelblind onderzoek. Dan kunnen verwachtingen bij de deelnemers en de proefleider geen rol spelen in de uitkomsten van het onderzoek. Maar in de praktijk is het niet eenvoudig om de proefleider niet op de hoogte te laten van de conditie waarin iedere deelnemer zich bevindt.

Tussentijds extern voorval: wanneer voor- en nameting in de controlegroep aan elkaar gelijk zijn, kun je ervan uitgaan dat het externe voorval geen invloed heeft.

Rijping: de scores op de nameting veranderen doordat deelnemers ouder, wijzer, milder of meer ervaren worden. Door als onderzoeker de tijd tussen voor- en nameting kort te houden, kun je deze verstorende factor enigszins onder controle houden. Bij het meten van langetermijneffecten is dit lastiger.

Uitval: deelnemers kunnen gedurende de looptijd van het experiment uitvallen, vooral waarbij langetermijneffecten centraal staan.

ONDERZOEKSMETHODEN

6.3.3 Toewijzing deelnemers aan condities- Vergelijkbaarheid van de experimentele groep en controlegroep is essentieel om alternatieve verklaringen uit te sluiten.

Randomiseren: wanneer je individuele deelnemers op basis van toeval toewijst aan de experimentele condities mag je bij voldoende grote steekproeven ervan uitgaan dat behalve de manipulatie alle achtergrondkenmerken min of meer gelijk verdeeld zijn over beide groepen.

Matching: bij precisiematching probeer je voor elke deelnemer in je steekproef een gelijke deelnemer te vinden op relevante achtergrondkenmerken (paarsgewijs matchen). Een probleem hierbij is dat er een groot aantal deelnemers moet deelnemen om tot gelijke paren te komen wanneer men op een groot aantal variabelen tegelijk wil matchen. Bij globale matching streef je naar vergelijkbare frequentieverdelingen van een aantal relevante achtergrondkenmerken in de experimentele groep en de controlegroep. De experimentele groep en de controlegroep zijn dan slechts per afzonderlijk kenmerk aan elkaar gelijk en niet wat betreft alle combinaties van de kenmerken. -> Combinatie matching en randomisatie: via gerandomiseerd blokontwerp zorg je ervoor dat de experimentele groep en de controlegroep volledig aan elkaar gelijk zijn op de achtergrondkenmerken die de blokken vormen (groepsgewijs matchen).

Homogenisering: een meer rigoureuze procedure om tot vergelijkbaarheid te komen is om je experiment bijv. te beperken tot deelname van alleen jongeren of alleen ouderen. Leeftijdsverschil tussen condities kan daarmee geen alternatieve verklaring meer vormen voor een gevonden manipulatie-effect. Een dergelijke keuze heeft echter wel negatieve implicaties voor de populatievaliditeit.

- Hoge interne validiteit: de keuzes die je in het ontwerp hebt gemaakt geven aanleiding te concluderen dat de manipulatie ondubbelzinnig van invloed is op de afhankelijke variabele en er geen alternatieve verklaringen mogelijk zijn.

6.3.4 Wat voor data wil je verzamelen?- Reactiviteit: onderzoekers zijn bang dat deelnemers aan een experiment zich anders gaan gedragen omdat zij weten dat zij geobserveerd worden. Dat zorgt ervoor dat de gedragsmetingen niet meer valide zijn. * Welke waarnemingsmethode je ook kiest, een zorgvuldige operationalisering is van cruciaal belang. Ook voor het experiment geldt de aanbeveling om op zoek te gaan naar meetinstrumenten die anderen al hebben ontwikkeld en waarvan de kwaliteit (geldigheid en betrouwbaarheid) al is gerapporteerd in eerder onderzoek. - Manipulatiecheck: in de dataverzameling ook metingen meenemen van de onafhankelijke variabele die je in het experiment hebt gemanipuleerd. Je doet dit om te bepalen of de manipulatie zelf de bedoelde uitwerking had op de deelnemer, los van het effect op de afhankelijke variabele. * Een manipulatiecheck is niet altijd nodig en mogelijk.- Ook ethiek is bij experimenteel onderzoek een belangrijk thema. Veel onderzoeksinstituten hebben een ethische commissie die bestaat uit wetenschappers aan wie je je onderzoeksopzet kunt voorleggen. Zij bepalen of je toestemming krijgt om het experiment uit te voeren. Je hebt daarnaast natuurlijk altijd toestemming van de deelnemers zelf nodig. Je dient hen vooraf goed in te lichten over het onderzoek en de mogelijke gevolgen (= ‘informed consent’). * Actieve toestemming (‘active consent’): ouders moeten je nadrukkelijk toestemming geven voor deelname van hun kind.* Passieve toestemming (‘passive consent’): ouders worden geïnformeerd over het onderzoek en moeten aangeven wanneer hun kind niet mee mag doen.

6.3.5 Bij wie wil je de data verzamelen?

ONDERZOEKSMETHODEN

- In veel experimentele studies wordt er gebruikgemaakt van een ‘convenience sample’ van deelnemers die makkelijk te vinden zijn of beschikbaar zijn, bijv. omdat ze zichzelf hebben aangemeld voor het onderzoek. Daarmee wordt het echter wel onduidelijk naar welke populatie de gevonden resultaten te generaliseren zijn.- Omdat in een experiment de interne validiteit zo belangrijk is, is het van belang dat je in je onderzoek een effect dat aanwezig is, ook daadwerkelijk kunt aantonen.- Het bepalen van de steekproefomvang is van belang. Bij een verwacht klein effect zal de steekproef groot moeten zijn en bij een verwacht groot effect volstaat een kleinere steekproef.

6.3.6 Wanneer wil je de data verzamelen?- Bij een experiment draait het om de effecten van een interventie of manipulatie. Hierbij is het van belang dat je metingen op het juiste moment uitvoert. Wordt er een kortetermijneffect gevonden, dan is het de moeite waard om te gaan onderzoeken hoe lang dit effect voortduurt.* Vaak is het zo dat langetermijneffecten relevanter zijn dan kortetermijneffecten. We kunnen zeggen dat langetermijnuitkomsten vaak dichter in de buurt komen bij wat we eigenlijk willen weten.

- Een andere vraag is hoe lang de manipulatie ingezet moet worden. Bij een experiment is het belangrijk om goed na te denken over de duur en intensiteit van de manipulatie.

6.3.7 Waar wil je de data verzamelen?- De plek waarop het experiment wordt uitgevoerd hangt vaak samen met de motieven van het onderzoek. Bij fundamenteel onderzoek zijn het meestal laboratoriumexperimenten en bij praktijkonderzoek vaak veldexperimenten. * Naast lab- en veldexperimenten wordt er in toenemende mate gebruikgemaakt van online experimenten. Het nadeel is daarbij wel dat je als onderzoeker weinig controle hebt over de omstandigheden waarin de deelnemer meedoet aan het onderzoek.

6.3.8 Hoe wil je de data analyseren?- Bij de data-analyse bepaal je of er sprake is van samenhang tussen de onafhankelijke en afhankelijke variabele door na te gaan of de score op de afhankelijke variabele in de experimentele conditie verschilt van die in de controleconditie. De analyse die nodig is in een experimenteel ontwerp bestaat meestal uit het onderling vergelijken van de gemiddelde scores in beide condities. Het kan ook zijn dat er een vergelijking op een (succes)percentage wordt gemaakt. * Het is ook zinvol om te controleren op vergelijkbaarheid van de experimentele groep en controlegroep. Bovendien is het verstandig om te onderzoeken of de groepen vergelijkbaar zijn op eigenschappen van de deelnemers die van invloed zouden kunnen zijn op de afhankelijke variabele.

6.4 Hoe wil je rapporteren?- Bij de rapportage van de onderzoeksresultaten is het belangrijk dat je alle analysestappen nauwkeurig beschrijft, zodat het onderzoek controleerbaar en herhaalbaar is.

6.5 Overzicht en vooruitblik- ‘Method of Difference’ vormt de basis van het experimentele ontwerp: wanneer condities slechts op 1 aspect van elkaar verschillen, is het juist dat aspect dat als oorzaak moet worden aangemerkt. - Met de introductie van de termen ‘interne validiteit’ en ‘externe validiteit’ is er een interpretatiekader gekomen om de kwaliteit van een experiment te beoordelen. Soms kunnen deze 2 kwaliteitscriteria op gespannen voet met elkaar staan. Om aan dit schijnbare spanningsveld te ontsnappen is er de mogelijkheid van het survey-experiment. In deze vorm van experimenteel onderzoek worden elementen van surveyonderzoek en experimenteel onderzoek gecombineerd, door vragen in de vragenlijst systematisch te variëren en groepen deelnemers verschillende versies van de vragenlijst aan te bieden. Onderzoekers hopen op deze wijze de voordelen van een aselecte en grootschalige steekproef (populatievaliditeit) te combineren met de ontwerpkenmerken van een

ONDERZOEKSMETHODEN

zuiver experiment (interne validiteit). * Nieuwe technologische ontwikkelingen maken het mogelijk om de ecologische validiteit te waarborgen, bijv. d.m.v. virtual reality. Manipulaties die in het verleden praktisch niet mogelijk waren, zijn in een virtuele omgeving wel mogelijk (bijv. gevolgen van overstroming). Ook maken technologische ontwikkelingen verregaande schaalvergroting in onderzoek mogelijk.

H.5 Grootschalig veldonderzoek

5.1 Inleiding en leerdoelen- Met een grootschalig veldonderzoek, ook wel het surveyonderzoek genoemd, kan een overzicht worden geschetst wat er zoal leeft en speelt onder een bepaalde bevolking of onder specifieke delen van die bevolking.- Grootschalig veldonderzoek: een onderzoeksontwerp waarin je als onderzoeker voor het beschrijven en verklaren van sociale verschijnselen vragen stelt aan een groot aantal ondervraagden (= respondenten). Meestal stel je die vragen in de vorm van een enquête/vragenlijst. Om te bepalen wie ondervraagd moeten worden, wordt doorgaans een steekproef getrokken uit een grotere onderzoekspopulatie. * Om van alle ondervraagden vergelijkbare informatie te krijgen wordt de vragenlijst gestandaardiseerd. Idealiter worden de vragenlijsten ook op een gestandaardiseerde manier ingevuld of afgenomen. Standaardisatie maakt vergelijkbaarheid van de antwoorden mogelijk, evenals replicatie van het onderzoek.- Volkstelling/census: de personen in de doelpopulatie worden allemaal ondervraagd. Bij grootschalig veldonderzoek wordt meestal niet iedereen in de doelpopulatie ondervraagd. Dat gaat doorgaans op steekproefbasis. De steekproef wordt zo samengesteld dat die een geldige dwarsdoorsnede is van de samenleving (= crosssectie). * Het grootschalig veldonderzoek is feitelijk voortgekomen uit de zogenaamde volkstellingen en heeft daarnaast zijn wortels in de survey movement. * Grootschalige veldonderzoeken spelen ook een belangrijke rol bij opiniepeilingen, waarin men een indruk probeert te krijgen van de verdeling van meningen over politieke en maatschappelijke vraagstukken. Ook wordt deze vorm van onderzoek ingezet als voorspeller.

5.2 Het onderzoeksplan: de probleemstelling, wat en waarom?

5.2.1 Vraagstellingen: wat wil je precies weten?- Grootschalige veldonderzoeken worden veelal uitgevoerd op grond van vraagstellingen waarmee je een overzicht probeert te krijgen over kwesties die in een bepaalde populatie spelen. * Onderzoeken naar de Nederlandse publieke opinie wordt veelal door marktonderzoekbureaus uitgevoerd. Daarnaast vraagt de overheid veel grootschalig veldonderzoek om het draagvlak voor het beleid te kunnen bepalen. Deze vorm van praktijkgericht wetenschappelijk onderzoek wordt beleidsonderzoek genoemd en wordt meestal door onafhankelijke onderzoeksbureaus uitgevoerd. Universiteiten voeren ook veelvuldig grootschalig veldonderzoek uit om meer fundamentele onderzoeksvragen te beantwoorden.- Trendsurvey: naast eenmalig grootschalig veldonderzoek kunnen deze ook met enige regelmaat worden herhaald. In herhaald cross-sectioneel onderzoek worden respondenten uit steeds weer nieuwe steekproeven periodiek ondervraagd met dezelfde vragen (bijv. naar veiligheid). Door dit soort herhaald onderzoek kunnen trends in de samenleving zichtbaar gemaakt worden. - Panelsurvey: dezelfde respondenten worden dan herhaaldelijk benaderd met dezelfde vragen met het doel om individuele veranderingen en ontwikkelingen in hun levensloop te bestuderen, en kun je nagaan of en in welke richting zij van mening veranderen. -> Deze vragen over trends en veranderingen in levensloop en tijd zijn ook direct met retrospectieve vragen te stellen.* Sinds het gebruikelijk is dat teams van onderzoekers samenwerken om grootschalige

ONDERZOEKSMETHODEN

veldonderzoeken zodanig op te zetten dat de informatie tegelijkertijd in diverse landen wordt verzameld, is het ook mogelijk om zogenaamde comparatieve vragen te stellen.

5.2.2 Doelstellingen: waarom wil je dit weten?- Een belangrijk doel om een grootschalig veldonderzoek te houden is het vaststellen van de verdeling van verschijnselen in de maatschappij, van kenmerken van personen, van gedrag van die personen in de populatie, of van opinies in de populatie. = grootschalig beschrijvend onderzoek.Grootschalig veldonderzoek wordt ook gebruikt voor het toetsen van verklaringen. In het geval van verklarend onderzoek worden verschillende kenmerken met elkaar in verband gebracht.

5.2.3 Conceptuele modellen- De conceptuele modellen waarmee de centrale vraagstellingen worden weergegeven zijn feitelijk soortgelijk aan die in hfd. 2 (schema’s om causale relatie(s) te illustreren).

5.3 Onderzoeksontwerp: hoe?- 4 keuzeprocessen bij hoe je grootschalig veldonderzoek wilt opzetten:

Wat wordt onderzocht? Beslissingen nemen over het samenstellen van de vragenlijst. Wie worden onderzocht? Selectie van onderzoekseenheden. Wanneer? De tijdsperiode(n) van het grootschalig veldonderzoek. Waar? De locatie(s) waar het onderzoek gaat plaatsvinden.

* Verder moet je beslissingen nemen over de organisatie van het veldwerk; over hoe je de onderzoeksgegevens gaat verzamelen (= modes of data collection). Er kunnen grofweg 3 varianten van gegevensverzameling worden onderscheiden: het persoonlijk interview, het telefonisch interview en het interview met zelfinvullijsten. -> Tegenwoordig zijn deze 3 varianten veelal computerondersteund. Voordelen van computerondersteund interviewen:

Snelheid: de antwoorden op vragen worden meteen in de computer ingevoerd en zijn daardoor direct beschikbaar voor analyse.

Vermijden van fouten: de computergestuurde vragenlijst kan zo worden ingericht dat alleen relevante vragen op het beeldscherm verschijnen. Vragen die niet van toepassing zijn worden niet getoond en vragen kunnen niet onterecht worden overgeslagen (= routing).

Uitvoeren van controles: het computerprogramma kan zo worden ingericht dat kan worden nagegaan of de respondent antwoorden geeft die niet kunnen voorkomen en of hij consequent is in zijn antwoorden.

Nadeel van digitale vragenlijsten:

Wanneer de routing en controles niet goed zijn geprogrammeerd zet je de respondent op het verkeerde been.

Keuze van beste methode van dataverzameling maken:

De organisatie van het veldwerk: aspecten die te maken hebben met het eigenlijke enquêteren (tijd, capaciteit en geld).

Kenmerken van de vragenlijst: lengte, complexiteit en het gebruik van hulpmiddelen en toonmateriaal (bijv. afbeeldingen of filmpjes).

Andere factoren die de kwaliteit van de data bepalen: de mensen die we willen onderzoeken moeten bereikbaar zijn en bereid zijn om mee te doen.

5.3.1 Het dataverzamelingsplan- Je kunt natuurlijk pas beginnen met de samenstelling van een vragenlijst wanneer je een volledige probleemstelling hebt uitgeschreven. Door het verzamelen van relevante begrippen, de definities daarvan, een theoretisch raamwerk en de afgeleide hypothesen kun je precies vaststellen welke

ONDERZOEKSMETHODEN

informatie je wilt gaan verzamelen.* Meervoudige begrippen of dimensies: complexe theoretische begrippen die in verschillende onderdelen kunnen worden opgedeeld. Dat begrip wordt dan uiteindelijk geoperationaliseerd in meerdere enquêtevragen en daarmee ook in meerdere gemeten variabelen. - Bij grootschalig veldonderzoek resulteert het operationaliseren van een theoretisch begrip uiteindelijk in het formuleren van enquêtevragen. Er worden vaak schalen opgesteld die bestaan uit verschillende vragen (parallelle operationalisaties). Soms kun je een meetinstrument gebruiken die al ontwikkeld is. Het is handig om een schalenboek aan te leggen dat een systematische opsomming van alle theoretische begrippen uit de vraagstelling en/of hypothesen bevat met de daarbij behorende meetinstrumenten. Als je nog niet tevreden bent met een meetinstrument of het is nog niet beschikbaar zal je als onderzoeker concreet moeten aangeven hoe je het wil meten en hoe je de vragen wilt formuleren. Daar zijn richtlijnen voor (zie boek p. 167).* De verdeling van meningen van respondenten die worden opgeroepen door het stellen van een bepaalde vraag, is erg afhankelijk van de formulering van die vraag.- Niet alleen de vragen, maar ook de antwoorden en de antwoordcategorieën in een vragenlijst zijn belangrijk. Er zijn 3 hoofdtypen: gesloten vragen, open vragen en halfopen vragen. -> Open vragen worden gesteld wanneer het aantal antwoordmogelijkheden voor een vraag te groot is of als de onderzoeker nog niet weet welke antwoordmogelijkheden er allemaal zijn of benieuwd is naar de associaties die bij de ondervraagde spontaan opkomen. Hier zijn ook richtlijnen voor (zie boek p. 169)

Volgorde- Vragen moeten in de gewenste volgorde gezet worden. * Volgorde-effect: de interpretatie van een respondent van een bepaalde vraag staat niet op zichzelf, maar wordt gedeeltelijk bepaald door de vragen die daaraan zijn voorafgegaan. Om deze effecten te voorkomen is er ook een aantal richtlijnen te noemen (zie boek p. 169). - De routing/bewegwijzering van een vragenlijst stuurt de respondent door de vragenlijst. Het is van groot belang dat er daarbij geen fouten worden gemaakt.

Instructies, toelichting en lay-out- Vaak is het nodig bij de vragenlijst instructies en toelichting te formuleren. Dit is vooral bij zelfinvullijsten van belang.- De lay-out is vooral voor schriftelijke vragenlijsten en webvragenlijsten van groot belang. Een aantrekkelijk vormgegeven vragenlijst nodigt de respondent uit om de vragen in te vullen.-> M.b.t. instructies, toelichting en lay-out is er ook een aantal richtlijnen (zie boek p. 170).

Uittesten van de vragenlijst- Om erachter te komen of een vragenlijst goed geconstrueerd is en in de praktijk werkt zoals zou moeten, is het verstandig om eerst zelf uit te testen. De bedoeling is dat jij de vragenlijst in zijn geheel evalueert voordat hij definitief gebruikt wordt. Het doel van de evaluatie is om na te gaan waar inconsistenties in de vragenlijst zitten, moeilijke woorden worden gebruikt, moeilijke vragen worden gesteld of zich andere problemen voordoen. * Er zijn tegenwoordig professionele toetscentra (= vragenlaboratoria) waar de vragenlijst kan worden uitgetest door getrainde onderzoekers. - Welke modus van dataverzameling je ook kiest, in alle gevallen is het raadzaam de vragenlijst vooraf uit te testen op een aantal proefrespondenten.

5.3.2 Het steekproefplan- Een belangrijke voorwaarde om de dataverzamelingsmethoden toe te kunnen passen, is dat je informatie hebt van de doelpopulatie over hoe en waar deze te bereiken is.

Definitie en operationalisering van de populatie

ONDERZOEKSMETHODEN

- Nadat de doelpopulatie is vastgesteld, moet je precies omschrijven wie wel en wie niet tot de in het onderzoek opgenomen populatie behoren. De bereikbare populatie is de operationele populatie, hierop hebben de bevindingen van het onderzoek uiteindelijk betrekking op.

Ontwerpen en trekken van een steekproef- In een steekproefplan leg je als onderzoekers je beslissingen uit over de wijze van trekken en de grootte van de steekproef. Steekproeven kunnen worden getrokken uit een administratie van de populatie (= steekproefkader). Een goed steekproefkader is belangrijk voor het onderzoek, daarbij zijn duidelijke leeftijdsgrenzen van groot belang.* Onderdekking: niet iedereen die van belang is voor een onderzoek komen ook daadwerkelijk in het steekproefkader voor.* Overdekking: er zijn elementen die ten onrechte deel uitmaken van het steekproefkader.- Een steekproef is geslaagd als de voor het onderzoek relevante kenmerken van de populatie zo goed mogelijk worden weerspiegeld en de steekproef dus representatief is voor die kenmerken. Deze kans is het grootst bij een aselect getrokken steekproef. -> Kanssteekproeven: steekproeven waarvoor geldt dat elke onderzoekseenheid in de populatie een berekenbare kans groter dan 0 heeft om in de steekproef te worden betrokken.

Enkelvoudige aselecte steekproef= de selectie komt tot stand door de steekproefeenheden op volstrekt willekeurige wijze uit alle eenheden van de populatie te trekken. Deze vorm van steekproeftrekking is eenvoudig te realiseren in overzichtelijke situaties (bijv. steekproef uit ledenbestand van een club). Op soortgelijke wijze zou je dan ook een systematische steekproef kunnen trekken.

Gestratificeerde steekproef= de populatie indelen in belangrijke categorieën (bijv. indeling naar geslacht). Vervolgens kun je aselect uit elke stratum een steekproef treken, evenredig met de grootte van dat stratum in de populatie. Als die indeling in strata samenhangt met de doelvariabelen van het onderzoek kunnen we nauwkeuriger uitspraken doen over de populatie dan bij een enkelvoudige aselecte steekproef.

Clustersteekproef= je kiest clusters als primaire eenheden en ondervraagt dan alle leden van het cluster. Met een cluster worden bestaande groeperingen in de maatschappij bedoeld waarvan de leden onderling contact onderhouden en die in bepaalde opzichten op elkaar lijken (bijv. schoolklassen). Het cluster is dan in eerste instantie ook onderwerp van het onderzoek.

Getrapte steekproef= wanneer binnen clusters niet iedereen wordt gevraagd, maar daarbinnen een steekproef wordt getrokken.

-> Er zijn ook niet-kanssteekproeven of monsters.Quotasteekproef= interviewers die over het hele land verspreid zijn krijgen de opdracht om zelf respondenten te selecteren binnen bepaalde quota, meestal bepaalde combinaties van geslacht, leeftijd en welstand.

Sneeuwbalsteekproef= de onderzoeker vraagt de hulpverlening een lijstje te maken van mensen die in gelijke omstandigheden verkeren en trekt vervolgens aselect uit dit lijstje één of meer lotgenoten voor ondervraging. De kans dat iemand in de steekproef terecht komt, hangt dus af van de contacten die de onderzoeker via hulpverlening heeft kunnen krijgen (verbondenheid van dat netwerk).

Gemakssteekproef

ONDERZOEKSMETHODEN

= wanneer er bij explorerend onderzoek onvoldoende middelen en tijd is om een kanssteekproef op te stellen, kunnen (aankomende) onderzoekers ervoor kiezen om gemakshalve studiegenoten, vrienden, kennissen en familieleden te verzoeken om mee te doen aan het onderzoek. Zo’n steekproef is echter niet representatief voor een doelpopulatie te noemen.

De omvang van de steekproef- De omvang van de steekproef houdt verband met de nauwkeurigheid waarmee je uitspraken over de populatie wilt kunnen doen. Hoe groter de gewenste nauwkeurigheid (betrouwbaarheidsinterval), hoe groter de benodigde steekproefomvang moet zijn. * De omvang van de populatie speelt slechts zelden een rol bij de bepaling van de omvang van de steekproef. - Oversampling: aangezien de respons voldoende groot moet zijn om nauwkeurige uitspraken te doen, wordt de omvang van de steekproef vaak opgehoogd voor het te verwachten non-responspercentage.* Het steekproefontwerp zal altijd de uitkomst zijn van afwegingen van nauwkeurigheid en doelmatigheid enerzijds en beschikbare menskracht en middelen anderzijds.* In het onderzoeksverslag bij grootschalig veldonderzoek wordt gebruikelijk de responsratio in een paragraaf gerapporteerd.* De bereikbaarheid en bereidheid van respondenten bepalen in belangrijke mate de hoogte van de uiteindelijke respons.

Algemene non-respons kan verschillende oorzaken liggen die zowel bij respondenten als bij interviewers kunnen liggen. Non-respons kan een vervelend effect hebben op de gegevens. De bereidheid om mee te doen aan een onderzoek is voor persoonlijke interviews het grootst, daarna telefonische interviews en ten slotte zelfinvullijsten. Een manier om mensen toch te stimuleren mee te doen is het geven van een klein cadeautje voor de moeite (= incentive/beloning).

Item-non-respons is groot bij zelfinvullijsten, omdat mensen vragen gemakkelijk kunnen overslaan (niet bij elektronische zelfinvullijsten).

Unit-non-respons is het deel van de steekproef waarvan ingevulde vragenlijsten niet terug zijn ontvangen.

- Responsvertekening: wanneer veel respondenten geen correct antwoord geven op een bepaalde vraag bestaat de kans dat er verkeerde conclusies getrokken worden. Dit komt veel voor bij bedreigende en gevoelige onderwerpen, waarbij respondenten de neiging hebben een sociaal wenselijk antwoord te geven. * Responsset/acquiecence: wanneer de vragenlijst vragen of items bevat die allemaal achter elkaar in dezelfde richting zijn geformuleerd, loop je als onderzoeker de kans dat een respondent steeds hetzelfde antwoord geeft, ongeacht de inhoud van de vragen of items.- In het geval van panelonderzoek zijn er 3 soorten non-respons:

Initiële non-respons: non-respons bij de werving voor het onderzoek. Incidentele non-respons: de respondent laat het bij een enkele ondervraging afweten. Uitval of panelmortaliteit: panelleden zijn bij een tweede of volgende ondervraging niet

meer bereikbaar of stoppen hun deelname. Naarmate de periode tussen 2 ondervragingen langer is, is de kans groter dat respondenten uitvallen.

- Als het grootschalig veldonderzoek zich richt op niet-bedreigende onderwerpen zijn alle modi geschikt (beste kwaliteit bij persoonlijk interview - telefonisch onderzoek – zelfinvullijst). -> Vaak is het persoonlijke interview de beste methode om gegevens te verzamelen (wel duurste).

Mogelijkheden en beperkingen van zelfinvullijsten op het internet- Voordelen van het aanbieden van zelfinvullijsten via het internet (websurveys/webenquêtes):

ONDERZOEKSMETHODEN

Het is mogelijk om de respondent alleen die vragen voor te leggen die op hem of haar van toepassing zijn op basis van eerder gegeven antwoorden. De routing gaat hierbij automatisch

Alle verzamelde data zijn direct te downloaden en voor analyse te gebruiken.

* Webenquêtes lenen zich niet goed voor kwalitatief onderzoek, omdat de mogelijkheden tot doorvragen zeer beperkt zijn. Het probleem van bereikbaarheid van de doelgroep speelt steeds minder een rol, omdat steeds meer mensen via het internet beschikbaar zijn.

5.3.3 Wanneer wil je data verzamelen?- Het tijdstip van dataverzameling ligt niet altijd voor de hand, omdat de verbinding tussen het onderwerp van onderzoek en de planning niet erg duidelijk hoeft te zijn. Bij kiezersonderzoek bijv. is het wel duidelijk dat het rond de verkiezingen wordt gehouden.* Een ander aspect dat samenhangt met de periode van dataverzameling betreft de beschikbaarheid van de te onderzoeken groep. Daarnaast moeten er ook voldoende interviewers beschikbaar zijn.- Voor een goede respons en een goede kwaliteit van gegevens is een juiste communicatiestrategie van belang.

Toelichting op de communicatiestrategie

Aanschrijfbrief: je kunt als onderzoeker besluiten om alvast een brief te sturen aan de mensen op het adres dat is geselecteerd voor het onderzoek. Daar kun je achtergrondinformatie over het onderzoek in zetten en aangeven waarom het interessant is om mee te doen.

Herinneringsstrategie: deze is specifiek voor dataverzamelingsmethoden waarin geen interviewers voorkomen, zoals zelfinvullijsten. Wanneer er na een bepaalde datum geen reactie is ontvangen van de respondent, zal deze opnieuw worden benaderd.

Benaderingsstrategie: deze is gericht op persoonlijke en telefonische interviews. Hierbij is het van belang goed na te gaan wat het beste tijdstip is waarop de doelgroep benaderd kan worden. Op basis van achtergrondkenmerken kan een benaderingsstrategie worden gekozen die aansluit bij de verschillende groepen.

* In het algemeen streeft men naar een optimum tussen een zo groot mogelijke respons en een zo kort mogelijke enquêteperiode. - Mixed mode survey: de aanpassing van de dataverzamelingsmethode aan de wensen en mogelijkheden van de respondent.

5.3.4 Waar wil je die data verzamelen?- Deze vraag beantwoordt de onderzoeker feitelijk al wanneer hij zijn centrale onderzoeksvragen heeft uitgeschreven en daarmee de beoogde onderzoekspopulatie heeft beschreven.

5.3.5 Het data-analyseplan- Veel resultaten van grootschalig veldonderzoek bestaan uit numerieke beschrijvingen. Welke beschrijvingen het meest geschikt zijn hangt vooral af van het meetniveau van de variabelen.

Causale uitspraken op basis van grootschalig veldonderzoek- In het algemeen lenen enquêtegegevens zich niet gemakkelijk voor causale verklaringen; daarvoor is het experiment beter geschikt. Meestal worden in één gesprek veel individuele kenmerken vastgesteld, waardoor het vaak onduidelijk is wat de oorzaak of het gevolg is in de causale relatie.

Bivariate analyses= op grond van de volledige steekproef maak je een zogenaamde 2x2 kruistabel waarbij 2 variabelen betrokken zijn. De resultaten hiervan noemen we de originele relatie tussen de onafhankelijke variabele en de afhankelijke variabele. Vervolgens splits je de steekproef uit naar een derde

ONDERZOEKSMETHODEN

variabele, die in de voorbeelden ook vaak uit slechts 2 categorieën bestaat (= triviate relaties). Na deze opsplitsing van de hele steekproef in meerdere deelsteekproeven, worden deze ook weer weergegeven in 2 kruistabellen (= partiële/gecontroleerde relaties). -> Zie tabel boek p. 188

Van bivariate naar triviate analyses: het volledige interpretatiemodel- De triviale relatie bestaat uit de onafhankelijke variabele (X) – mediërende variabele (Z) – afhankelijke variabele. Deze relatie wordt dan in twee stappen geanalyseerd.* Het is dan belangrijk om te kijken of de bivariate relatie tussen X en Y geheel door Z wordt verklaard. Om deze hypothese te toetsen, splitsen we de gegevens over alle respondenten uit tabel 5.2 in 2 bivariate tabellen. Dit opsplitsen is een voorbeeld van controleren voor andere factoren, doordat je op deze manier de werking van verstorende factoren uitschakelt.

Triviate analyses: het gedeeltelijk interpretatiemodel- Bij een triviate analyse kijk je dus afzonderlijk naar de relaties tussen de eerste en tweede schakel en tussen de tweede en derde schakel. Daarna kijk je of de relatie tussen X en Y volledig kan worden verklaard door Z, door de totale steekproef weer in twee groepen op te splitsen.* Het resultaat kan zijn dat de originele relatie tussen X en Y slechts gedeeltelijk verklaard wordt door Z en dat er nog één of meerdere Z-variabelen een rol spelen.

Triviate analyses: het model van schijnanalyses- Schijnrelaties impliceren dat er geen causaliteit bestaat tussen een X- en Y-variabele. In de schematische weergave van het interpretatiemodel kun je bij een schijnrelatie zien dat de twee pijlen bij de triviale relatie niet dezelfde kant op gaan.* In de onderzoekspraktijk komen zuivere schijnrelaties zelden voor, maar we komen wel vaak schijnrelaties tegen. De oorspronkelijke relatie verdwijnt dus niet volledig, maar wordt minder sterk na controle voor andere factoren.

Triviate analyses: het suppressiemodel- In het suppressiemodel wordt een aanvankelijke zwakke of zelfs afwezige relatie juist sterker als je gaat controleren voor andere factoren.

Triviate analyses: interactiemodellen- Tot nu toe hebben we aangenomen dat bepaalde effecten of verschillen gelden voor de gehele steekproef. Als bepaalde conceptuele modellen per onderzoeksgroep verschillend zijn dan spreekt men van interactie of moderatie.

Overzicht van conceptuele modellen-> Zie schema in boek op p. 202

H.7 Etnografisch veldonderzoek

7.1 Inleiding en leerdoelen- Etnografisch onderzoek wordt vooral gebruikt om inzicht te krijgen in situaties waarover weinig bekend is, die complex of moeilijk toegankelijk zijn of die we van binnenuit willen begrijpen. Het is bovendien geschikt in situaties waar andere methoden tekortschieten, zoals wanneer het gaat om de beleving van (culturele) verschijnselen of verhulde machtsverhoudingen.

7.2 Probleemstelling: wat en waarom?- Etnografisch onderzoek wordt gebruikt om sociaal gedrag te bestuderen en de vraag te beantwoordden hoe mensen betekenis geven aan hun gedrag. Daarnaast wordt gekeken hoe de betekenis van gedrag wordt beïnvloed door culturele regels, die veelal ongeschreven zijn en vrijwel altijd anders kunnen worden geïnterpreteerd in verschillende contexten (= empirisch-interpretatief).

ONDERZOEKSMETHODEN

- Etnografisch onderzoek vindt plaats d.m.v. veldwerk in natuurlijke situaties. Etnografie is ontstaan uit de behoefte om groepen of volken die fundamenteel anders zijn in de manier waarop met elkaar omgaan en met elkaar communiceren, beter te begrijpen. * Cultuur: observeerbare verschillen in gedrag, taal en voorwerpen die mensen gebruiken.-> Etnografie wordt opgevat als de beschrijving van de cultuur van een samenleving of van de (sub)cultuur van een groep binnen de samenleving.- In etnografisch onderzoek kun je gebruikmaken van een breed scala aan dataverzamelings- en analysetechnieken. Participerende observatie is echter een kenmerkende onderzoekstechniek van etnografisch onderzoek. Dit houdt in dat je als onderzoeker woont en werkt met de mensen die je wilt bestuderen. Je neemt deel aan het dagelijkse leven van de onderzoekspopulatie.

7.2.1 Vraagstelling: wat wil je precies weten?- Etnografisch onderzoek is vooral zinvol m.b.t. de volgende typen van vraagstelling:

Exploratief onderzoek dat tot doel heeft om inzicht te verwerven in groepen of verschijnselen waarvan weinig tot niets bekend is of omdat groepen of samenlevingen moeilijk toegankelijk zijn. Dit geldt in bijzonder wanneer het gaat om een gevoelig onderwerp. De personen die aanwezig zijn in de veldsituatie noemen we participanten. De mensen die je als etnografisch onderzoeker interviewt zijn de informanten.

Vraagstelling die zich richt op de gedetailleerde beschrijving van sociale relaties, machtsverhoudingen en culturele betekenissen binnen een onderzoeksgroep. De oorspronkelijke doelstelling van etnografisch onderzoek is het zo goed mogelijk beschrijven en interpreteren van inheemse termen en de betekenissen die mensen daaraan hechten.* Interpreteren: zo nauwkeurig mogelijk de culturele concepten en betekenissen van andere groepen vertalen in de taal en begrippen van de onderzoeker.

Gebruik van de etnografische methode ter verklaring van verschijnselen door het verbinden van empirische inzichten in andere, maar vergelijkbare situaties. In een vergelijkend perspectief kan worden getracht om bepaalde inzichten te verbinden met structurele of culturele factoren die de lokale situatie overstijgen. Zo kan etnografisch onderzoek tot nieuwe theorieën leiden.

Gebruik van etnografisch onderzoek voor het voorbereiden en evalueren van beleid. Participerende observatie kan een belangrijke bijdrage leveren aan het in kaart brengen van de percepties en problemen van de groepen die centraal staan in beleid. Het beleid kan vervolgens beter worden afgestemd op de behoeften en de leefwereld van de doelgroep.

7.2.2 Doelstelling: waarom wil je dit weten?- De doelstelling van de etnografische methode van onderzoek is gekoppeld aan de verschillende mogelijke vraagstellingen: die kunnen exploratief, descriptief, verklarend of beleidsvoorbereidend van aard zijn. -> Het doel van etnografisch onderzoek in al deze gevallen is om de sociale relaties en de culturele betekenissen van anderen beter te begrijpen.

7.2.3 Theoretisch raamwerk- Etnografische onderzoekers onderscheiden zich van andere onderzoekers door te streven naar een begrip van anderen van binnenuit. Ze gaan daarom op zoek naar achtergronden van de betekenissen die mensen zelf geven aan hun gedrag, waarbij gebruik wordt gemaakt van bestaande theorieën. Theorieën helpen om perspectieven en praktijken van informanten in een breder kader te plaatsen en om ze te begrijpen. * De plaats van theorie in etnografisch onderzoek verschilt wezenlijk van de plaats van theorie in empirisch-analytisch onderzoek. Etnografisch onderzoek: probleemstelling -> kennis van theoretische inzichten meenemen -> specifieke empirische waarnemingen -> meer algemene theoretische uitspraken (inductieve procedure).

ONDERZOEKSMETHODEN

* Abductie: begrippen die onderzoekers attenderen op relevante thema’s (=’foreshadowed problems’/’sensitizing concepts’) kunnen tijdens het veldonderzoek worden bijgesteld of vervangen indien blijkt dat ze niet voldoende bijdragen aan een beter begrip van de bestudeerde situatie. -> Als etnografisch onderzoeker sta je voor de uitdaging om je goed voor te bereiden op je onderzoek en tegelijkertijd open te (blijven) staan voor nieuwe bevindingen en inzichten in het veld.

7.3 Onderzoeksontwerp: hoe?- Etnografisch onderzoek wordt gekenmerkt door een grote mate van openheid en flexibiliteit. Voorlopige beslissingen m.b.t. het onderzoeksplan dienen schriftelijk vastgelegd te worden. Er moet zo veel mogelijk worden gepland en waar dat niet kan moeten de redenen en de mogelijke alternatieven duidelijk zijn.- Kenmerkend voor het onderzoeksontwerp van een etnografische studie is de afwisseling van dataverzameling en data-analyse. Als onderzoeker moet je je afvragen op welke wijze je de vraagstellingen operationaliseert. Theoretische concepten moeten worden vertaald in begrippen die voor je informanten duidelijk zijn.* Al direct nadat de eerst gegevens zijn verzameld, vinden er analyses plaats. Naar het eind van het onderzoek toe neemt de dataverzameling af ten gunste van de data-analyse. De analyse is in etnografisch onderzoek een cyclisch proces (= iteratief proces). De data-analyse is dus geen aparte fase, maar een intrinsiek onderdeel van korte cycli van dataverzameling en -verwerking. - Je start vanuit een vraagstelling die wordt geoperationaliseerd in concrete vragen die je kunt voorleggen aan de informanten en vertalen in observaties van hun gedrag. Concrete vragen worden tijdens het onderzoeksverloop geherformuleerd. Zo doorloop je de empirische cyclus onafgebroken, totdat je geen nieuwe inzichten meer verkrijgt.* In het begin van het onderzoek stel je vooral vragen die algemeen en oriënterend van aard zijn. Naarmate jouw inzicht als onderzoeker vordert, richten je vragen meer op specifieke verschijnselen.

7.3.1 Wat voor data wil je verzamelen?- De centrale waarnemingstechniek van etnografisch onderzoek is participerende observatie, altijd aangevuld met verschillende typen interviews en soms ook met andere onderzoeksmethoden.* Het beginstadium van een onderzoek is er altijd op gericht om een overzicht te krijgen van de onderzochte situatie (grand tour). Wanneer je de belangrijkste betekenissen in kaart hebt gebracht, kun je inzomen op een beperkt aantal aspecten van het veld die nodig zijn om de onderzoeksvragen te beantwoorden (mini tour).- Participerende observatie: als onderzoeker neem je deel aan het sociale leven van de mensen naar wie je onderzoeksbelangstelling uitgaat en directe waarnemingen verricht van hun cultuur, communicatie en gedrag. Via intensieve en gevarieerde contacten met participanten verkrijg je inzicht in de wijze waarop zij hun gemeenschap vormen. * Het is belangrijk om gedetailleerde veldnotities te maken:

Het is belangrijk dat het taalgebruik van participanten herkenbaar is Het is soms belangrijk om uitspraken en/of zelf hele gespreken woord voor woord te noteren Beschrijvingen dienen zo concreet mogelijk te zijn en zo veel mogelijk details te bevatten

* Participerende observatie doet een groot beroep op je sociale vaardigheden, omdat er een spanning bestaat tussen het zijn van een insider (participatie) en een outsider (observatie). – spanning tussen distantie en betrokkenheid.* Er bestaan ethische richtlijnen voor de wijze waarop je je als onderzoeker dient te gedragen en hoe je je rol op een verantwoorde manier kunt vormgeven. De belangrijkste richtlijn is open optreden, waarbij je als onderzoeker om medewerking moet vragen van de personen die je tijdens je onderzoek ontmoet en bestudeert.- Interview: gesprek waarin de interviewer vragen stelt aan één of meerdere mensen over gedragingen, opvattingen, houdingen en ervaringen ten aanzien van bepaalde sociale verschijnselen.

ONDERZOEKSMETHODEN

In een etnografisch interview is het van groot belang om de gedachtegang van de informant proberen te volgen een aan te sluiten bij diens referentiekader en vocabulaire.

Formele interviews: de informanten zijn volledig op de hoogte dat zij worden geïnterviewd. Informele interviews: de participant is niet altijd op de hoogte van het feit dat het gesprek

voor de onderzoeker de functie heeft van een interview.

* Sleutelinformanten: mensen die bijzonder veel informatie geven. - Het belangrijkste criterium om verschillende typen interviews van elkaar te onderscheiden is de mate van standaardisatie of structurering. Hoe meer standaardisatie, hoe meer je als interviewer de richting bepaalt. Je zult ook directieve technieken gebruiken om je eerdere bevindingen in een ander daglicht te plaatsen.

7.3.2 Betrouwbaarheid en validiteit

Betrouwbaarheid: gaat om de navolgbaarheid van onderzoek. Je wilt voorkomen dat je waarnemingen worden beïnvloed door toevallige fouten. – herhalen van waarnemingen.* Onderzoekerstriangulatie: het werken in een team van onderzoekers die samen overleggen over de systematiek en consistentie van hun werkwijzen.

Validiteit: gaat erom dat je kunt laten zien dat je je voorgestelde vraagstuk ook daadwerkelijk hebt onderzocht.* Convergente validiteit: gebruikmaken van uiteenlopende wijzen om gegevens te verzamelen (= methodentriangulatie). Door al de informatie die verkregen is d.m.v. de verschillende onderzoeksmethoden te combineren, kun je nagaan in hoeverre de verkregen antwoordpatronen of geobserveerde gedragspatronen convergeren.- Interne validiteit: gaat over de logica van de argumentatie binnen het onderzoek. Dit wordt vooral beoordeeld aan de hand van de overtuigingskracht van de interpretaties van de onderzoeksgegevens (o.a. kwaliteit van operationalisaties).- Externe validiteit: gaat over de vraag of je onderzoeksresultaten ook van toepassing zijn op andere, vergelijkbare situaties. * Ecologische validiteit: de mate waarin de resultaten van je onderzoek kunnen worden gegeneraliseerd naar andere omstandigheden. * Populatievaliditeit is in etnografisch onderzoek niet echt van toepassing.

- Methodische verantwoording: om de kwaliteit van je onderzoek te waarborgen, schrijf je gedurende het gehele onderzoek op wat je hebt gedaan, hoe en waarom.* De laatste tijd wordt etnografisch onderzoek vaker gecombineerd met kwantitatief onderzoek om de validiteit te verhogen. Een kanttekening is dat met triangulatie de suggestie wordt gewekt dat er een allesomvattend beeld is te schetsen van de complexe werkelijkheid, terwijl het uitgangspunt van een interpretatieve opvatting juist is dat de werkelijkheid per definitie veelzijdig is.

7.3.3 Bij wie wil je de data verzamelen?- Wanneer je als onderzoeker een probleemstelling hebt geformuleerd, zoek je vervolgens naar personen of organisaties die willen participeren. Je kunt hiervoor te rade gaan bij de literatuur en bij deskundigen. In sommige gevallen liggen de onderzoekseenheden vast vanwege opdrachtgevers.* Voordat je met het veldwerk kunt beginnen dien je als onderzoeker toegang te verkrijgen tot de situaties en personen die je wilt onderzoeken. De manieren om mensen te selecteren en te werven voor deelname aan een onderzoek zijn zeer divers; ze doen een beroep op je creativiteit.- Theoretische steekproef: vorm van doelgerichte steekproeftrekking waarbij je eenheden selecteert op basis van hun potentiële bijdrage aan de dataverzameling en -analyse (= cyclisch proces). - Sneeuwbalmethode: je probeert via kennissen contact te leggen met potentiële deelnemers, om vervolgens van hen ook weer namen te krijgen van anderen die je kunt benaderen.-> In alle gevallen zal je je moeten afvragen of je informanten representatief zijn voor de bredere

ONDERZOEKSMETHODEN

onderzoekspopulatie. Wanneer je informanten niet de diversiteit in die bredere populatie reflecteren, kun je zoeken naar de deviant cases: mensen die andere opvattingen hebben en gedrag vertonen dat afwijkt van de informanten die via de sneeuwbalmethode zijn geworven.- Doelgerichte steekproeftrekking: een steekproef wordt zo samengesteld dat deze zo veel mogelijk representatief is voor de grotere onderzoekspopulatie. De kenmerken van de mensen of het verschijnsel dat je wilt onderzoeken zijn vrijwel altijd de basis van de selectie.* Verzadiging/saturatie: het punt waarop je mag stoppen met dataverzameling wanneer je uit de analyse van de nieuw geselecteerde gevallen geen nieuwe informatie meer krijgt over de relevante onderwerpen.

7.3.4 Wanneer wil je de data verzamelen?- De uitvoering van het veldonderzoek is vaak tijdsintensief:

Je hebt toegang nodig tot het veld. Daarbij is het opbouwen van een goede verstandhouding met je informanten (rapport) noodzakelijk.

Het kost veel tijd om een lokale situatie, de onderliggende machtsverhoudingen en het referentiekader van informanten goed te begrijpen.

Het uitvoeren van veldwerk vereist een flexibele en geduldige houding van de onderzoeker. Je moet bereid zijn om precies op die momenten aanwezig te zijn waarop je informatie kunt verkrijgen voor jouw vraagstelling.

Je houdt er rekening mee dat het tijdstip waarop je observeert gevolgen heeft voor de resultaten van het onderzoek.

Je houdt er als onderzoeker rekening mee hoe lang na een bepaalde gebeurtenis je mensen hierover bevraagt (met name bij critical events, zoals traumatische gebeurtenissen)

7.3.5 Waar wil je de data verzamelen?- Als etnografisch onderzoeker probeer je een onderwerp of situatie in detail te onderzoeken, uitgaande van de vraagstelling. Daarvoor zoek je meestal een kleine, afgebakende locatie of een geheel van aan elkaar gerelateerde locaties.

7.3.6 Hoe wil je de data analyseren?- De analyse van etnografische data staat of valt met een nauwkeurige en gedetailleerde registratie van de waarnemingen. Na afloop van het veldwerk bezit je een corpus aan data dat voornamelijk bestaat uit teksten. De analyse daarvan is al begonnen tijdens het optekenen en ordenen van de onderzoeksgegevens. Deze werkwijze vloeit voort uit de open en flexibele benadering van etnografisch onderzoek en het iteratieve karakter van de analyse.

- Analyseren: je rafelt de data uiteen en brengt het terug op een nieuwe manier, waardoor je jouw interpretatie van de data goed en helder kunt overbrengen.* Coderen: je categoriseert je gegevens en stelt de categorieën vast met een of meer trefwoorden.- Grounded theory stappenplan: de analyse zo veel mogelijk baseren op empirische gegevens.

Open coderen: je vormt in eerste instantie codes op basis van alle data, met aandacht voor de perspectieven van je informanten en hun vocabulaire. Je bestudeert je data met een brede blik omdat je nog niet weet welke informatie waardevol zal zijn voor je onderzoek. Je probeert patronen en opvallende zaken te ontdekken in je data en daar trefwoorden aan te verbinden.

Axiaal coderen: je gaat hierbij nog een keer door je data heen en probeert relevante fragmenten te vinden die je helpen je onderzoeksvragen te beantwoorden en die je kunt koppelen aan de concepten en ‘forshadowed problems’ uit je onderzoeksplan. Deze fragmenten codeer je weer met een trefwoord.

ONDERZOEKSMETHODEN

Selectief coderen: hierbij codeer je op een hoger abstractieniveau, waarbij je op zoek gaat naar de onderlinge verbanden tussen codes. Je werkt je bevindingen uit tot een theoretisch inzicht.

- Een belangrijk principe in de analyse is dat je je onderzoeksgegevens permanent met elkaar vergelijkt. Zo kun je patronen ontdekken in het voorkomen van de categorieën en in de relaties tussen de categorieën (m.b.v. een matrix, boomdiagram, figuur of computerprogramma’s).* Werken met computerprogramma’s bevordert de efficiëntie, overzichtelijkheid en systematiek van de analyse.

7.4 Hoe ga je rapporteren?- Wanneer je de analyse van etnografische onderzoeksgegevens hebt voltooid, schrijf je een samenhangend rapport. Hierin geef je antwoord op je vraagstellingen en bespreek je de bevindingen van jouw onderzoek. * Externe validiteit binnen etnografisch veldonderzoek: de reikwijdte van de conclusies van het onderzoek en de inzichten die mogelijk toepasbaar zijn op andere, vergelijkbare situaties. - Verslag van etnografisch onderzoek bevat een methodologische verantwoording met de volgende elementen: de vraagstelling, de wijze waarop je deze hebt geoperationaliseerd, de beslissingen die zijn genomen in het veld en de rol die je als onderzoeker tijdens het onderzoeksproces hebt aangenomen.* Een onderdeel van de rapportage is bovendien een expliciete reflectie op je persoonlijke en wetenschappelijke achtergronden, waarbij je aangeeft hoe deze mogelijk van invloed zijn geweest op de uiteindelijke beschrijving en interpretatie van de sociale werkelijkheid.

7.5 Samenvatting en vooruitblik- Met etnografisch veldonderzoek kun je in natuurlijke omstandigheden bestuderen wat mensen doen en welke betekenis ze daaraan geven. Dit type onderzoek is uitermate geschikt om sociale situaties van binnenuit te begrijpen. Je bent vaak langdurig aanwezig in het veld, te midden van je onderzoeksparticipanten. * Bij etnografisch onderzoek analyseer je d.m.v. een cyclisch proces, waarbij theorie en empirie voortdurend met elkaar in dialoog zijn.

H.8 Inhoudsanalyse

8.1 Inleiding en leerdoelen- Wanneer je een inhoudsanalyse uitvoert, onderzoek je geen mensen maar boodschappen.

8.2 Probleemstelling: wat en waarom?

8.2.1 Vraagstelling: wat wil je precies weten?- Inhoudsanalyse (dataverzamelingsmethode)

Kwantitatieve inhoudsanalyse: het gaat om systematische, repliceerbare, kwantificeerbare analyse van communicatie. Meestal gaat het om grootschalige data; om grote steekproeven. Het lijkt in veel opzichten op grootschalig veldonderzoek (grootschalig, vragenlijst als meetinstrument, dezelfde statistische analysetechnieken), maar verschilt ervan omdat het niet mensen als onderzoeksgroep heeft, maar boodschappen en hun kenmerken.

Kwalitatieve inhoudsanalyse: je bent bij deze methode op zoek naar een diepgaande interpretatie; naar achterliggende betekenissen in het materiaal. Het is kleinschalig(er); steekproeven zijn doorgaans veel kleiner.

ONDERZOEKSMETHODEN

* Het overgrote deel van onderzoekscontexten waarbij inhoudsanalyse wordt gebruikt bestaat uit onderzoek naar mediaboodschappen.

8.2.2 Doelstelling: waarom wil je dit weten?- Strikt genomen kun je met inhoudsanalyse alleen kenmerken van boodschappen beschrijven. Je kunt zo’n beschrijving wel gebruiken om meer te weten te komen dan alleen een systematisch idee. Veel onderzoekers hebben een doel dat verdergaat dan alleen beschrijven; ze willen zaken vergelijken of zelfs verklaren. * Uiteindelijk is veel inhoudsanalytisch onderzoek gestoeld op de gedachte dat de inhoud van een boodschap een of ander effect zal hebben op de ontvanger van die boodschap. Je kunt dan proberen te verklaren waarom een boodschap er op een bepaalde manier uitziet of voorspellingen doen over de gevolgen van de boodschap. * Hoewel je veel zaken met kwantitatieve inhoudsanalyse kunt onderzoeken, kun je niet concreet iets concluderen over een belangrijke vraag, namelijk wat het effect is van bepaalde inhoudskenmerken. Je hebt daar hulp van andere onderzoeksmethoden voor nodig.

8.2.3 Theoretisch raamwerk- Het theoretisch raamwerk bij kwantitatieve inhoudsanalyse afhankelijk van de vraagstelling en de relevante wetenschappelijke literatuur. Vaak zijn de vragen beschrijvend van aard. Dat betekent dat er meestal geen toetsbare modellen worden onderzocht d.m.v. inhoudsanalyse.

8.3 Onderzoeksontwerp: hoe?- Hoe je een inhoudsanalyse opzet en uitvoert is geheel afhankelijk van de vraag die je met je onderzoek wilt beantwoorden. Grofweg gaat het in kwantitatieve inhoudsanalyse meestal om grote hoeveelheden materiaal en een flink aantal variabelen, waarop je een cijfermatige analyse doet. Een belangrijk doel is vaak dat je wilt kunnen generaliseren. Een ander belangrijk kenmerk is het gebruik van een gestandaardiseerd meetinstrument (codeboek met strikt omschreven variabelen met vaste categorieën). De meting (=coderen) wordt uitgevoerd door getrainde codeurs.

8.3.1 Wat voor data wil je verzamelen?- Bij inhoudsanalyse is de eerste stap het nadenken over welk ruw materiaal je moet verzamelen om de beoogde gegevens te verkrijgen. Daarbij moet je kijken naar je onderzoeksvraagstelling. Over het algemeen bestaat het bij inhoudsanalyse uit boodschappen.

Meetinstrument: van ruw materiaal naar telbare en valide data- Je moet je ruwe materiaal omzetten naar kwantificeerbare/telbare data die verband houden met je vraagstellingen (= operationaliseren). - Een eerste belangrijke beslissing die je bij het maken van je meetinstrument moet nemen, is bepalen wat je als codeereenheden gaat nemen. * Codeereenheid: datgene in het ruwe materiaal dat je in numerieke data om gaat zetten; datgene waarvan je de kenmerken wilt meten.-> Het lastige bij inhoudsanalyse is dat de dingen waarvan je de kenmerken wilt meten (codeereenheden) vaak anders zijn dan de eenheden die je verzamelt in je steekproef (steekproefeenheden). Bij inhoudsanalyse verzamel je meestal niet direct de eenheden die je ook analyseert. Je gaat dan eerst de boodschappen verzamelen waarin de eenheden die je wilt analyseren zich waarschijnlijk bevinden. Daarna selecteer je uit de steekproefeenheden bepaalde elementen waarvan je vervolgens de kenmerken gaat vastleggen.

Het codeboek- Bij inhoudsanalyse leg je in de praktijk dus kenmerken vast van codeereenheden. Dat moet op een systematische manier gebeuren. Het codeboek is het meetinstrument van inhoudsanalyse, waarin is vastgelegd welke kenmerken gemeten moeten worden en welke antwoordcategorieën de codeur

ONDERZOEKSMETHODEN

moet gebruiken (bijv. Kijkwijzer).* Het codeboek is een boek met daarin een lijst van alle kenmerken die moeten worden geregistreerd van elke codeereenheid.

Coderen en codeertraining- Coderen is het belangrijkste en moeilijkste deel van de inhoudsanalyse. Alle conclusies uit je onderzoek zijn gebaseerd op het werk dat gedaan wordt door de codeurs. Het doel van het codeboek is de eigen interpretaties van de uiteenlopende codeurs zo veel mogelijk uit te schakelen door het geven van specifieke instructies.* Succesvol coderen ontstaat vaak op basis van veel proefcoderen en fouten maken (codeertraining).

Codeurs moeten vertrouwd worden met het codeboek en leren hun eigen interpretaties uit te schakelen.

Het is ook belangrijk om het codeboek te verbeteren.

8.3.2 Bij wie wil je die date verzamelen?- Als je weet welk ruw materiaal je nodig hebt, moet je het nog te pakken zien te krijgen. Als we het hebben over bij ‘wie’ je data wilt verzamelen, bedoelen we niet zozeer mensen, maar boodschappen, instellingen en communicatiemiddelen. Deze zijn niet altijd even makkelijk te verzamelen omdat anderen ze produceren. Welke van die instellingen je uitkiest en welke je toegang geven tot hun materiaal bepaalt uiteindelijk in hoeverre je kunt generaliseren. - Een tweede aspect van de selectie van materiaal zijn de codeereenheden, die zoals gezegd vaak niet hetzelfde zijn als de steekproefeenheden. Er bestaan voorafgaande aan een onderzoek vaak geen volledige, of goed vast te stellen lijsten van de codeereenheden die je in je onderzoek wilt betrekken, dus kun je die niet random selecteren.* Je moet vooraf dus goed nadenken over wat je precies selecteert en bij wie je je materiaal moet halen. Daarbij moet je vaak een afweging maken tussen representativiteit en pragmatiek (bijv. geld).

8.3.3 Waar wil je die data verzamelen?- De keuze uit welk gebied je materiaal afkomstig moet zijn is uiteraard afhankelijk van de vraagstelling. Soms ben je geïnteresseerd in het vergelijken van boodschappen uit verschillende geografische gebieden of markten; vaak is het zo dat de inhouden van boodschappen in 1 markt of in 1 land geanalyseerd worden.

8.3.4 Wanneer wil je data verzamelen?- Je moet ook vaststellen welke tijdsperiode je wilt onderzoeken. De periode waarin of waaruit je inhouden verzamelt is bij inhoudsanalyse wellicht nog belangrijker dan bij andere methoden. De periode waarin een inhoud is geproduceerd is namelijk vaak direct van invloed op de inhoud, met name bij mediaboodschappen. * Boodschappen zijn door mensen geproduceerd in een bepaalde context en met een bepaald doel. Een van de belangrijkste contexten is de tijd waarin een boodschap geproduceerd wordt. Boodschappen zijn niet willekeurig verdeeld over een periode, ze verschillen van inhoud per periode (bijv. krant). Je moet dus ook bij het vaststellen van je steekproef rekening houden met de factor tijd.* Eenvoudige random sampling is dus vanwege representativiteitsproblemen (media-inhouden fluctueren met de tijd) en vanwege praktische problemen (moeilijk lijst vast te stellen van eenheden) niet altijd de beste optie bij kwantitatieve inhoudsanalyse. Het liefst wil je echter wel een element van random sampling in je steekproeftrekking bewaren, anders worden statistische gevolgtrekkingen over representativiteit betekenisloos. Veelvoorkomende steekproeftrekkingen:

Census= elke eenheid uit de onderzoekspopulatie neem je op in je onderzoek. Je hebt dan in feite geen steekproef, want je neemt alles mee en is er dus ook geen probleem met representativiteit. Dit is

ONDERZOEKSMETHODEN

meestal alleen praktisch haalbaar als je een relatief beperkte populatie hebt.

Systematische steekproef= hierbij kies je uit een lijst van materiaal systematisch de n^de eenheid. Als je de computer laat kiezen welk getal n moet zijn is het een toevalssteekproef. De tijdsfactor is hier wel een probleem.

Cluster- en multistage-steekproeven- Als er geen lijst voorhanden is waaruit je al dan niet willekeurig eenheden kunt kiezen, komen in veel gevallen boodschappen voor in de door hun producenten gemaakte clusters. * Clustersteekproef = een toevalssteekproef van clusters waarbij je alle boodschappen binnen die clusters meeneemt in je onderzoek. * Multistage-steekproef = je trekt in elke stap een willekeurige steekproef uit het beschikbare materiaal. Zo’n steekproef doe je als je met verschillende factoren tegelijk rekening wilt houden.

Gestratificeerde steekproef (bij inhoudsanalyse vaak gebruikt)= je deelt de onderzoekspopulatie als het ware op in verschillende kleinere groepjes waarbinnen je random eenheden trekt. Dit gebeurt vooral door tijdseenheden te bepalen en daarbinnen eenheden te selecteren. Dit doe je om een betere spreiding te krijgen.

Gemaks- en doelgerichte steekproef- Steekproeven van deze typen zijn ‘non-random samples’, die meestal uit praktische overwegingen getrokken worden (materiaal is moeilijk bereikbaar en/of kost veel geld).* Gemakssteekproef: een steekproef van materiaal dat toevallig voorhanden is. * Doelgerichte steekproef: je kiest bewust bepaalde boodschappen uit om een vooraf bepaalde reden. Het probleem met dit soort steekproeven is dat statistisch generaliseren in feite niet mogelijk is. -> Bij alle methoden van steekproeftrekking is van belang dat vooraf het steekproefkader wordt vastgesteld. Daarnaast is datgene waarnaar je kunt generaliseren afhankelijk van waaruit je random hebt geselecteerd.

8.3.5 Hoe wil je die data analyseren?- Het analyseren van data in kwantitatieve inhoudsanalyse verschilt niet principieel van de analyses uit andere kwantitatieve methoden. Elke willekeurige techniek is mogelijk, afhankelijk van de vraagstelling of hypothesen. Wel is het zo dat beschrijvende statistiek relatief vaak voorkomt bij inhoudsanalyse. * Voordat je gaat analyseren moet je goed nadenken over wat je precies wilt analyseren. Bij inhoudsanalyse kan het nogal verwarrend zijn dat je het ene selecteert (steekproefeenheid), het andere codeert (codeereenheid) en weer iets anders in je tabellen tegen elkaar afzet (analyse-eenheid).

Veiligstellen van de kwaliteit van een inhoudsanalyse- Bij kwantitatieve inhoudsanalyse moet je eveneens kunnen aantonen dat je gegevens van voldoende kwaliteit zijn. De interne validiteit van een kwantitatieve inhoudsanalyse kun je onder meer waarborgen door codeurs goed te trainen in het begrip en toepassing van het meetinstrument. * Betrouwbaarheid: de stabiliteit en nauwkeurigheid van het meetinstrument. Als de ene codeur het op een bepaalde manier codeert, moet een andere codeur dat ook doen. Bij een goed werkend codeboek mogen er geen of weinig meningsverschillen bestaan tussen codeurs (intercodeurbetrouwbaarheid). Hoe hoger de intercodeurbetrouwbaarheid, met des te meer stelligheid kun je zeggen dat de data die je hebt kloppen.

Mijn data zijn onbetrouwbaar! Wat nu?- De kans op onbetrouwbaarheid van data wordt groter naarmate een variabele complexer is en dus

ONDERZOEKSMETHODEN

meer interpretatie nodig heeft van de codeur. In dat geval kun je proberen de instructies in het codeboek te verbeteren, codeurs nog eens specifiek op die variabele te trainen. Een andere manier is om categorieën in je codeboek aan te passen, meestal door ze samen te voegen. * Vaak zij de complexere en abstractere variabelen het minst betrouwbaar (bijv. ‘warm-koud’).

8.4 Kwantificeren en rapporteren van een inhoudsanalyse- Statistische analyses en de rapportage daarvan verschillen bij kwantitatieve inhoudsanalyse niet van andere kwantitatieve methoden. Het is van groot belang dat je de betrouwbaarheidscoëfficiënten berekent en rapporteert. Rapporteer altijd de betrouwbaarheid van elke variabele apart. Datzelfde geldt ook voor de validiteit van de begrippen in je vraagstellingen en de operationalisatie daarvan in je meetinstrument.

8.5 Kwalitatieve inhoudsanalyse- Kwalitatieve inhoudsanalyse verschilt in feite weinig van andere methoden van kwalitatieve analyse. De manier van steekproeftrekking, de wijze van analyseren, en de uitdagingen met validiteit en betrouwbaarheid zijn vergelijkbaar met methoden als kwalitatieve interviews en observatie.* Het gaat ook bij deze methode om de analyse van boodschappen. In de kwalitatieve variant wordt dit ook wel documentanalyse genoemd. -> Kwalitatieve inhoudsanalyse heeft als doel om documenten diepgaand te analyseren. Het gaat erom verborgen betekenissen in een boodschap te achterhalen. Deze onderliggende betekenissen zijn niet direct zichtbaar of vast te stellen m.b.v. een vooraf bepaald categorieënsysteem in een codeboek.- Verder probeer je bij kwalitatieve inhoudsanalyse de boodschap te begrijpen in haar context. Doordat deze vorm van analyse relatief arbeidsintensief is en doorgaans door maar één persoon of een klein team wordt uitgevoerd, is de kwalitatieve inhoudsanalyse veel kleinschaliger dan kwantitatieve inhoudsanalyse. Er wordt strikt genomen ook niet met codeurs gewerkt. In plaats daarvan is een grote rol in de analyse weggelegd voor de onderzoeker en zijn/haar interpretatie van het materiaal (minder vaststaande procedures).* Er zijn verschillende varianten van kwalitatieve inhoudsanalyse (bijv. discours-, narratieve-, interpretatieve-, retorische- en semiotische analyse).

8.5.1 Vraagstelling: wat wil je precies weten?- Onderzoeken die als kwalitatieve inhoudsanalyse aan te merken zijn vinden in een breed scala aan wetenschappelijke onderzoeksgebieden, die elk hun eigen soorten vraag- en doelstellingen hebben. Gemeenschappelijk is de vraag naar onderliggende betekenissen van (elementen van) boodschappen. Ook gaat het vaak om beschrijvende vraagstellingen, waarbij de onderzoeker erop uit is om de boodschap of delen daarvan in theoretische termen te beschrijven.* In het algemeen is een vraag bij kwalitatieve inhoudsanalyse: op welke manier(en) komt een bepaald begrip voor in het materiaal?

8.5.2 Doelstelling: waarom wil je dit precies weten?- Het doel van kwalitatieve inhoudsanalyse is het beschrijven van de inhoud van boodschappen. Het gaat om een interpreterende analyse waarbij complexe kenmerken moeten worden gereconstrueerd door stapsgewijs het materiaal te lezen en te ordenen. Het doel is om kenmerken van een boodschap te meten die complexer zijn dan makkelijk waarneembare en kwantificeerbare kenmerken, en vaak nog niet eerder door andere onderzoekers ontdekt zijn (-> ontwikkeling nieuwe constructen).

8.5.3 Theoretisch raamwerk- In zijn algemeenheid speelt theorievorming een grote rol in kwalitatief onderzoek. Al dan niet expliciete theorieën kunnen het uitgangspunt vormen voor de formulering van eerst exploratieve ideeën over te vinden betekenissen en begrippen. * Belangrijk is dat je bij kwalitatief onderzoek nooit toetsend onderzoek doet: het gaat om de

ONDERZOEKSMETHODEN

beschrijving van boodschappen. Het doel is juist om een theorie te ontwikkelen of uit te werken.

8.5.4 Hoe? Wat voor data wil je verzamelen?- Het ruwe materiaal dat je nodig hebt voor kwalitatieve inhoudsanalyse is in principe hetzelfde als bij kwantitatieve inhoudsanalyse: het gaat om boodschappen die relevant zijn voor je vraagstellingen. Elk soort boodschap is in principe geschikt.

8.5.5 Bij wie wil je de data verzamelen?- Steekproeftrekking in kwalitatieve inhoudsanalyse heeft een heel andere logica en volgt meestal andere procedures dan bij kwantitatief onderzoek. Als kwalitatief onderzoeker wil je dat je steekproef de variëteit aan aanwezige betekenissen of concepten dekt. Het doel is om de door jouw ontwikkelde concepten te kunnen generaliseren naar jouw eigen materiaal, niet naar materiaal buiten jouw onderzoek.* In de dagelijkse praktijk kiezen onderzoekers vaak pragmatische manieren van doelgerichte steekproeftrekking, maar idealiter gebruik je de methode van theoretische steekproeftrekking = je selecteert op basis van eerste ideeën een kleine hoeveelheid van het materiaal, bekijkt en analyseert die. Gaandeweg het proces van analyseren breid je het materiaal stap voor stap uit totdat er geen nieuwe variatie meer optreedt.

8.5.6 Waar wil je die data verzamelen?- Ook bij kwalitatieve inhoudsanalyse is dat afhankelijk van je vraagstelling.

8.5.7 Hoe wil je die data analyseren?- Bij kwalitatieve inhoudsanalyse zijn, net als bij andere kwalitatieve methoden, dataverzameling en analyse niet altijd strikt van elkaar gescheiden. Een ander aspect is dat er verschillende manieren zijn om die analyse te doen. Dit is afhankelijk van de vraag die je wilt beantwoorden, maar wordt ook bepaald door de wetenschappelijke traditie waarin je werkt.* De uitkomst van de analyse is hierbij voor een groot deel afhankelijk van de systematische interpretatie die de individuele onderzoeker geeft aan het materiaal. Analyse en dataverzameling wisselen elkaar steeds af (= cyclistisch karakter van kwalitatief onderzoek).

Veiligstellen van de kwaliteit van kwalitatieve inhoudsanalyse- In kwalitatieve inhoudsanalyse is de kwaliteit van een onderzoek lastiger aan te tonen dan bij kwantitatieve methoden, omdat er veel meer interpretatie bij komt kijken. De kwaliteitscontrole is bij kwalitatief onderzoek dan ook meer een beoordeling door de onderzoeker dan een echte meting. * Om als onderzoeker te laten zien hoe je hebt gezorgd dat je onderzoek betrouwbaar en valide is, is transparantie een belangrijk middel. Je moet als onderzoeker laten zien uit welk materiaal je je conclusies trekt en welke methoden je gebruikt hebt om het materiaal te verkrijgen en de analyses uit te voeren. Om de juistheid van je bevindingen (interne validiteit) van je onderzoek te beoordelen, kun je een aantal stappen nemen:

Je rapporteert welke theoretische argumenten je hebt om je meetinstrument te ontwikkelen en je analyses te doen.

Je noteert je beslissingen die je neemt tijdens de analyse en het (verder) ontwikkelen van je meetinstrument in memo’s. -> rapportage van je studie

Triangulatie: methodentriangulatie (= gebruik van verschillende methoden), onderzoekerstriangulatie (= verschillende onderzoekers buiten het onderzoeksteam kijken naar je resultaten).

* De externe validiteit kun je beoordelen door een doelgerichte steekproef te nemen van bijv. extreme gevallen om te kijken of jouw uitkomsten ook daarop van toepassing zijn.- Een manier waarop onderzoekers vaak proberen de betrouwbaarheid van hun analyses te

ONDERZOEKSMETHODEN

waarborgen is het gebruik van computerprogramma’s voor kwalitatieve analyse. Deze programma’s kunnen helpen om de analyse te systematiseren en het materiaal te structureren.

8.5.8 Kwantificeren en rapporteren van een kwalitatieve inhoudsanalyse- In kwalitatief onderzoek bestaat je bewijsmateriaal niet uit cijfers, maar worden de resultaten (de abstracte begrippen, frames, dimensies) onderbouwd en geïllustreerd met fragmenten uit het ruwe materiaal (tekstfragmenten, foto’s, scènebeschrijvingen, enz.). De eigenlijke uitkomsten van je analyse bestaan vaak uit begrippen of typologieën. Je beschrijft welke concepten je hebt ontdekt en hoe ze aan elkaar gerelateerd zijn.

8.6 Samenvatting en vooruitblik- We hebben gezien dat kwantitatieve inhoudsanalyse in veel opzichten lijkt op grootschalig veldonderzoek (relatief grote steekproeven, het doen van kwantitatieve generaliserende uitspraken). Maar er zijn ook verschillen te zien. Bij kwantitatieve inhoudsanalyse wordt er minder vaak van eenvoudige kanssteekproeven gebruikgemaakt. Ook zijn de onderzoekseenheden die je opneemt in de steekproef niet per se hetzelfde als de eenheden die je codeert. * Wat betreft kwalitatieve inhoudsanalyse verschillen de methode van dataverzameling en bijbehorende analyse niet veel van andere kwalitatieve methoden. Het doel is het ontdekken van concepten en de relaties ertussen.

Computers en inhoudsanalyse- Zowel in kwantitatieve als kwalitatieve inhoudsanalyse wordt er gebruikgemaakt van de computer, en niet alleen om statistische analyses uit te voeren.

Veel documenten zijn digitaal beschikbaar en doorzoekbaar. Computer Assisted Qualitative Data Analysis Software om gebruik te maken van de

geavanceerde zoekfuncties die computers bieden om systematisch naar woorden of fragmenten, scènes of beelden te zoeken en aan deze trefwoorden toe te kennen.

* Computers zijn bij kwalitatieve inhoudsanalyse slechts hulpmiddelen; bij kwantitatieve inhoudsanalyse is dat anders. Door bepaalde computersoftware te ontwikkelen en gebruiken kun je de analyse automatisch laten doen door een computer.- Beperkingen inhoudsanalyse: je kunt niet veel meer doen dan het beschrijven van inhouden. Je zult nooit met alleen inhoudsanalyse uitspraken kunnen doen over de impact die een boodschap heeft.

H.9 Gebruik van bestaande gegevens

9.1 Inleiding en leerdoelen- In dit hoofdstuk gaan we uit van de situatie dat de onderzoeksgegevens niet door de onderzoekers zelf worden verzameld, maar dat gebruik wordt gemaakt van reeds bestaande gegevens (bijv. databestanden, registraties als notules, gegevens van de belastingdienst).

9.2 Verschillende soorten bestaande gegevens- Er zijn vele situaties waarin je noch de middelen noch de tijd hebt om zelf een dataverzameling te organiseren, maar dan kun je toch onderzoek doen en jouw onderzoeksvraag beantwoorden doordat je gebruik kunt maken van bestaande bronnen.

In de eerste situatie zijn de gegevens er al, hoewel ze niet met het oog op jouw specifieke vraagstelling zijn verzameld. Dergelijke gegevens kun je vinden in de vorm van registraties, officiële statistiek en sporen. Gegevens die het CBS aanbiedt, in de vorm van officiële statistiek, zijn veelal gebaseerd op registers en enquêtes. Vrijwel elk menselijk gedrag laat zijn sporen na en ook van die sporen kun je gebruikmaken. Heel grote databestanden komen

ONDERZOEKSMETHODEN

door het gebruik van het internet steeds meer beschikbaar en bevatten een gigantisch scala aan sporen.

In de tweede situatie zijn de beschikbare, door anderen verzamelde onderzoeksgegevens wel toegespitst op de beantwoording van jouw specifieke vraagstelling waarnaar je onderzoek wilt gaan uitvoeren. Deze gegevens zijn vaak gedeponeerd in een of andere data-archief. Die vervolganalyse noemen we een secundaire analyse.

* Naast bestaande gegevens is er natuurlijk de reeds bestaande wetenschappelijke literatuur, waaruit je voor de beantwoording van je vraagstelling kunt putten.

9.3 Neerslag van gedrag in de vorm van registraties, officiële statistiek en sporen

Registraties= administratieve gegevens; meestal om de neerslag van (non-verbaal) gedrag. Voordelen registratie:

Het gebruik van registraties is doorgaans goedkoper dan het zelf verzamelen van gegevens. Bij registraties heb je geen last van non-respons en sociaal wenselijk antwoordgedrag.

* Een deel van de registraties is door het CBS bewerkt en gepubliceerd als officiële statistieken.

Officiële statistiek- Er is in Nederland een aantal instellingen dat de expliciete taak heeft statistische gegevens te verzamelen (officieel statistisch materiaal). Statistische dataverzameling gebeurt op landelijk, provinciaal en gemeentelijk niveau. Via het open dataportaal van de overheid kun je een groot aantal bronnen raadplegen over maatschappelijke thema’s. * Vooral de diverse ministeries zijn gebaat bij een continue stroom van gegevens waarmee het beleid kan worden onderbouwd en geëvalueerd en waarmee het parlement kan worden geïnformeerd. Het CBS beschikt over veel registraties alsook data van grootschalige enquêtes, waarin veel gegevens over de gehele bevolking zijn opgenomen. Deze bestanden vormen de ruggengraat voor het maken van de zogenaamde volkstellingen.

Sporen= dat kunnen letterlijk de sporen van menselijk gedrag in de fysieke omgeving zijn, of van datgene dat mensen zoal wegdoen (bijv. afval). * Het probleem bij het gebruik van registraties en sporen is het selectieve karakter. Bij registratie blijft alleen dat bewaard waarvan wettelijk is vastgesteld dat het mogelijk van historisch waarde is, of dat wat in losse verzamelingen van particulieren is terechtgekomen. Ook wat betreft sporen kan er sprake zijn van selectiviteit, omdat sommige sporen beter bewaard blijven dan anderen. Wanneer er sprake is van selectiviteit, is dat van invloed op de validiteit van het onderzoek. Dergelijke registraties kunnen lang niet alle sporen bevatten en niet op hele grote schaal worden uitgevoerd. Daarom is de ecologische validiteit ervan feitelijk beperkt.

9.3.1 Vraagstellingen bij het gebruik van registraties, officiële statistiek en sporen- Je kunt de CBS-publicaties en CBS-statline gebruiken om beschrijvende vragen te beantwoorden. Je kunt ze ook gebruiken om verklaringen te vinden voor bepaalde ontwikkelingen (bijv. zelfdoding).

9.3.2 Doelstellingen bij het gebruik van registraties, officiële statistiek en sporen- Omdat registraties, officiële statistiek en sporen heel uiteenlopende informatie bevatten zijn ze voor zeer uiteenlopende onderzoekers en gebruikers van onderzoeksresultaten (bijv. politici of beleidsmakers) interessant. Officiële statistieken lenen zich vaak goed voor longitudinaal en vergelijkend onderzoek. * De doelstelling van het gebruik van registraties en officiële statistiek is om met zo weinig mogelijk

ONDERZOEKSMETHODEN

kosten en zonder belasting van respondenten, zo betrouwbaar mogelijke data te verkrijgen. Daarmee kunnen ze zowel wetenschappelijke als maatschappelijke doelstellingen bereiken.* Als je sporen gebruikt belast je ook geen respondenten en heb je bovendien als onderzoeker geen last van sociaal wenselijke antwoorden op je vragen of sociaal wenselijk gedrag omdat mensen zich bekeken voelen.

9.3.3 Onderzoeksontwerp- Een bepaalde stelling moet worden getoetst aan de hand van berichten in de media en statistieken. Vervolgens worden er berekeningen gemaakt die met elkaar vergeleken worden, waaruit een conclusie kan worden getrokken (zie boek voorbeeld zelfdoding – Werther effect).

9.3.4 Nog een aantal andere bronnen van bestaande gegevens- Ook het Sociaal en Cultureel Planbureau (SCP) houdt zich bezig met het verzamelen, bewerken en publiceren van (sociaal)wetenschappelijke gegevens. Het SCP valt onder verantwoordelijkheid van het ministerie van Volksgezondheid, Welzijn en Sport en houdt zich bezig met het beschrijven van een situatie op sociaal en cultureel terrein in Nederland en de te verwachten ontwikkelingen. * Naast het CBS en het SCP zijn er nog vele semi-overheidsinstanties die gegevens verzamelen en vastleggen die mogelijk voor sociale wetenschappers interessant zijn (bijv. RIVM).* Een ontwikkeling die vooral de laatste jaren steeds belangrijker wordt, is het gebruik van zogenoemde Big Data. Dit kunnen vrij beschikbare grote datasets zijn (bijv. sociale media, websites) of grote commerciële administraties en in toenemende mate ook gegevens van sensoren (bijv. smartwatches, slimme energiemeters).-> De toenemende interesse in het gebruik van Big Data wordt zowel veroorzaakt doordat steeds meer mensen gebruikmaken van het internet en sociale media waardoor de hoeveelheid data hard groeit, maar ook doordat er hard- en software beschikbaar komt om dergelijke gigantische grote bestanden te analyseren. Dit biedt allerlei nieuwe mogelijkheden voor (commercieel) onderzoek.

9.4 Secundaire analyse op bestanden uit data-archieven- Steeds meer (sociaal)wetenschappelijke onderzoekers stellen de door hen verzamelde en uitgelokte gegevens na afloop van het onderzoek beschikbaar aan een data-archief binnen Data Archiving and Networking Services (DANS). DANS vormt een onderdeel van het National Academic Research and Collaborations Information System (NARCIS). NARCIS biedt je toegang tot wetenschappelijke informatie waaronder (open access) publicaties afkomstig uit de repertoires van alle Nederlandse universiteiten en andere wetenschappelijke instellingen. NARCIS bevat ook datasets van een aantal data-archieven, beschrijvingen van onderzoeksprojecten, onderzoekers en onderzoeksinstituten.

9.5 Voor- en nadelen van het gebruik van bestaande gegevens- Voordelen:

Er kan bij zelf opgezet onderzoek sprake zijn van reactiviteit: wanneer personen weten dat zij onderwerp zijn van sociaalwetenschappelijk onderzoek, kunnen zij reageren op de onderzoekssituatie. Dit kan invloed hebben op de interne validiteit en op de interpretatie van de resultaten.* De reactiviteit van personen kan voor sociale wetenschappers aanleiding zijn om alleen die vraagstellingen te formuleren die m.b.v. niet-uitgelokte gegevens kunnen worden opgelost.

Het gebruik van bestaande gegevens bespaart veel tijd en geld. Het gebruik van bestaande gegevens biedt de mogelijkheid om gegevens te combineren en

soortgelijke gegevens met elkaar te vergelijken (comparatieve vraagstellingen).

- Nadelen:

ONDERZOEKSMETHODEN

Bestaande gegevens zijn meestal met een ander doel verzameld. Als hergebruiker ben je gebonden aan de oorspronkelijke keuze van eenheden, variabelen en waarden. Dat kan betekenen dat de gegevens niet toereikend zijn om de nieuwe vraagstelling volledig te beantwoorden.

Bij bestaande gegevens weet je niet altijd de omstandigheden waaronder de data zijn verzameld: door wie, wanneer en hoe. De definitie van een bepaalde begrippen kan zijn gewijzigd in de loop van de tijd.

SECUNDAIRE ANALYSE

* Voordelen:

Wanneer onderzoekers gebruikmaken van gegevens die spontaan worden gegenereerd, hoeven ze niemand te vragen om deel te nemen aan hun onderzoek (unobtrusive).

Secundaire analyse levert winst in tijd en budget op.

* Nadeel:

Bij secundaire analyse zijn we sterk afhankelijk van de kwaliteit van de oorspronkelijke gegevens. De kwaliteit in termen van betrouwbaarheid en validiteit van de gegevens is niet altijd goed in te schatten.

9.6 Systematische review van wetenschappelijke literatuur= de studie is bedoeld om een wetenschappelijke vraagstelling te beantwoorden en er zijn duidelijke criteria geformuleerd om relevante literatuur op te sporen. Daarnaast is ook het proces van steekproeftrekken, dataverzameling, data-analyse, eventuele synthese van kwalitatieve en kwantitatieve resultaten en rapportage duidelijk omschreven. - Vraagstellingen die geschikt zijn voor een systematische review hebben vaak een inventariserend en beschrijvend karakter (bijv. naar effectiviteit van een bepaald afslankmiddel bij overgewicht).* De systematische reviewbenadering is in eerste instantie ontwikkeld om de gegevens en resultaten uit kleine medische studies samen te gebruiken in een grotere studie en zo het onderscheidend vermogen te vergroten. - Meta-analyse: als de kwantitatieve data uit de verschillende studies die zijn opgenomen in de systematische review worden gebruikt in een overkoepelende statistische analyse.* Hoewel je bij een systematische review min of meer alle stappen van het onderzoeksplan doorloopt, zijn de volgorde en de terminologie soms net iets anders. Na het vaststellen van de vraagstelling moet je nadenken over wat de kenmerken van je onderzoekspopulatie zijn, oftewel de kenmerken van de wetenschappelijke artikelen. Je moet nadenken over de criteria voor het opnemen of uitsluiten van artikelen. Als je een beeld hebt gevormd over die criteria, kun je gaan nadenken over waar je de relevante literatuur gaat opzoeken. Daarna beslis je precies hoe je binnen de bibliografische databases relevante artikelen voor jouw vraagstelling opspoort die voldoen aan de door jou geformuleerde kenmerken. Hiervoor formuleer je een zoekstrategie die je kunt vergelijken met een steekproefplan. Meestal is er dan ook nog een fase nodig waarin je kijkt of de gevonden literatuur wel echt voldoet aan jouw criteria (bijv. door samenvattingen screenen). * Critical assessment/appraisal: er wordt gekeken of de studies van voldoende wetenschappelijke kwaliteit zijn om mee te doen. -> Een goede rapportage van de primaire of oorspronkelijke studie maakt of breekt dus de mogelijkheid om die studie als bron te gebruiken voor een systematische review of een meta-analyse. Daarom zijn er vanuit de systematische reviewliteratuur veel richtlijnen voor het rapporteren van studies ontstaan. * Data-extractie: de stap waarin jij als onderzoeker de relevante stukken uit de artikelen in de verzameling haalt en deze codeert. Vaak wordt op de geëxtraheerde stukken tekst een kwalitatieve

ONDERZOEKSMETHODEN

en/of kwantitatieve inhoudsanalyse gedaan. Als de artikelen grotendeels dezelfde uitkomstmaat hebben kun je een meta-analyse overwegen.- Bezwaren systematische review:

Er wordt vaak vanuit gegaan dat de onderzoeksresultaten een lange houdbaarheidsdatum hebben, terwijl er misschien iets is veranderd waardoor hetzelfde onderzoek nu toch echt andere resultaten zou hebben opgeleverd als destijds.

Publication bias: als je de systematische review alleen baseert op gepubliceerde artikelen, bestaat het gevaar dat je ten onrechte denkt dat een interventie heel effectief is omdat de studies die geen effect lieten zien minder kans hebben om gepubliceerd te worden.

Een begrip kan een heel andere betekenis hebben gekregen of op het moment dat jij een systematische review overweegt heel anders gemeten wordt.

9.7 Meta-analyse= een (kwantitatieve) procedure om het gemiddelde effect vast te stellen van een hypothese die getoetst is in een groot aantal verschillende studies die op hun beurt zijn geïdentificeerd in een systematische review. Hierbij worden dus de resultaten van een groot aantal empirische onderzoeken op kwantitatieve manier samengevat m.b.v. statistiek. * Voordeel: je brengt een enorme hoeveelheid onderzoeksresultaten samen, vaak gebaseerd op een schat aan kostbare data. * Nadelen: meta-analyse kent dezelfde nadelen als de systematische review van wetenschappelijke literatuur waarop ze gebaseerd is. - Een goede meta-analyse houdt rekening met de verschillen die er bestaan in de verschillende studies m.b.t. kwaliteit, opzet, prestige van tijdschrift en talloze andere details. De kracht van een meta-analyse ligt in het grote aantal studies, waardoor een meta-analyse minder gevoelig is voor toevalligheden dan individuele (kleinere) studies.

9.8 Terugblik en vooruitblik- Dit hoofdstuk beschrijft het gebruik van bestaande gegevens al dan niet in de vorm van bestaande registraties en allerlei sporen, en de voor- en nadelen van deze manier van dataverzameling.