Methoden van Onderzoek ADoor: Daniëlle van Helvoirt | Docent: Peer Scheepers | Vakcode: SOW-MTB1001

Deze samenvatting is afkomstig uit het collegejaar 2016-2017. Het kan zijn dat sommige onderdelen iets verschillen van de huidige tentamenstof. Let hier op!

Cursusomschrijving: Met deze cursus verschaffen we de deelnemers inzicht in wat wetenschappelijk onderzoek is en welke typen onderzoek voorkomen in de antropologie, communicatiewetenschap en sociologie. Op de eerste plaats wordt inzicht gegeven in de soorten onderzoeksdoelen en onderzoeksvragen in sociaalwetenschappelijk onderzoek. Tevens wordt uiteengezet welke beginselen en criteria een rol spelen bij het beantwoorden van onderzoeksvragen (geldigheid, betrouwbaarheid, bruikbaarheid en inhoudelijke diepgang).

Op de tweede plaats wordt aandacht besteed aan de specifieke onderzoeksontwerpen in de antropologie, de communicatiewetenschap en de sociologie (het etnografisch veldonderzoek, het grootschalig veldonderzoek en het onderzoek met gebruik van bestaand (media-) materiaal). Zowel verschillende soorten onderzoeksgegevens, verschillende dataverzamelingsmethoden (observatie en interview) als verschillende analysemethoden (kwalitatieve en kwantitatieve) worden besproken. In aparte responsiecolleges krijgen studenten de gelegenheid om verdiepende vragen over de leerstof te stellen. In aparte werkcolleges wordt met behulp van oefeningen de kennis in praktijk gebracht.

Doelstellingen:Na afloop van de cursus Methoden van Onderzoek A is de student in staat om een beargumenteerde relatie te leggen tussen diverse vraagstellingen en

a) De grondvormen van empirisch onderzoek in de maatschappijwetenschappenb) De gegevensverzameling en typen van gegevensc) De grondvormen van gegevensanalyse door de betreffende methoden en technieken te

kunnen benoemen, uitleggen, op basisniveau toepassen en de resultaten hiervan te rapporteren conform principes van wetenschappelijke integriteit.

Daarenboven oefenen de studenten, in het kader van wetenschappelijke integriteit, om tegenover elkaar op te treden als ‘critical friends’ teneinde de kansen op schendingen van integriteit (plagiaat, verzinnen van bevindingen ofwel het incorrect presenteren van bevindingen) te reduceren.

Sociaalwetenschappelijk onderzoek en wetenschappelijke integriteit

1.2 Inleiding en leerdoelenWetenschap is theoretische kennis: het gaat om een samenhangend geheel van uitspraken waarmee wordt geprobeerd om allerlei sociale verschijnselen te beschrijven, te verklaren of te voorspellen.

Benaderingen in de sociale wetenschappenEr zijn twee benaderingen: de empirisch-analytische en de empirisch-interpretatieve benadering.

Fundamenteel en praktijkgericht onderzoekEr zijn ook twee soorten wetenschappelijk onderzoek. Fundamenteel onderzoek heeft als doel een bijdrage te leveren aan de wetenschappelijke kennis. Praktijkgericht onderzoek heeft als doel een oplossing aan te dragen bij een maatschappelijk probleem.

Theorievorming en theorietoetsingExplorerend onderzoek doe je wanneer er nog niet veel bekend is over het onderwerp. Wanneer er al wel veel informatie bekend is over je onderwerp, doe je toetsend onderzoek.

Probleemstellingen en onderzoeksontwerpenProbleemstellingen hebben verschillende onderzoeksontwerpen. De onderzoeksontwerpen zijn:

1. Grootschalig veldonderzoek2. Experiment3. Etnografisch veldonderzoek4. Inhoudsanalyse 5. Gebruik van bestaande, reeds door anderen verzamelde gegevens

1.3 Wetenschap is communicatie over onderzoek

CommunicatiemodelHet zender-boodschap-ontvangermodel is een bekende communicatiemanier. In het oorspronkelijke model waren zender en ontvanger van de boodschap in eerste instantie goed te onderscheiden. Commentaar hierop is dat er een tweerichtingsverkeer is. Daarbij is er zowel directe als indirecte terugkoppeling. Ook is er commentaar omdat er bij dit model geen rekening wordt gehouden met de context van de communicatie

Functies van communicatieAls de ontvanger centraal staat, is het niet de vraag wat de boodschap met de ontvanger doet, maar wat de ontvanger met de boodschap doet. Er zijn vier functies van een boodschap:

1. Boodschap als bron van informatie2. Boodschap als vermaak3. Boodschap als middel om de persoonlijke identiteit te versterken4. Boodschap als voertuig voor sociale integratie en interactie

De eerste twee zijn het meest bekend. Dit komt door de uses and gratifications theory. Selectieprocessen zijn de processen waarbij mensen uit het aanbod media de informatie kiezen die zij nodig hebben en kunnen gebruiken.

1.4 Onderzoek in de mediaOnderzoek komt in het nieuws wanneer mensen dit interessant vinden. Ook komen ze in het nieuws wanneer dat onderwerp leeft. Onderzoek heeft vaak een nieuwswaarde, maar kan ook als amusement gebruikt worden.

1.5 De onderzoeker als professional: wetenschappelijke integriteitWetenschapsfraude moet je altijd vermijden. Er zijn drie fundamentele ethische principes die je moet gebruiken wanneer je onderzoek doet met mensen (Belmont report):

1. Respect voor personen.Dit draait erom dat je de autonomie van mensen en het recht op zelfbeschikking in hand moet houden. Je moet mensen in staat stellen tot geïnformeerd toestemmen met deelname (informed consent).

2. Goed doen.De risico’s moet je voor je deelnemers tot een minimum beperken.

3. Gerechtigheid.Dit gaat om het vergewissen van eerlijke, redelijke en niet-exploiterende procedures voor (potentiële) studieparticipanten. Hieronder valt ook een eerlijke verdeling van de lasten en de lusten.

1.6 Wetenschappelijke integriteit en onderzoeksontwerpen Wetenschappers behandelen elkaar als critical friends, die elkaars werk van constructief commentaar voorzien.

Zes principes van wetenschappelijke integriteit1. Wetenschapsbeoefenaren dienen eerlijk en openhartig te zijn alsook zorgvuldig.

Dus gebruik goede bronvermelding; geen plagiaat plegen!2. Wetenschappers dienen betrouwbaar te zijn.

Het onderzoek dient traceerbaar, controleerbaar en toetsbaar te zijn3. Als de onderzoeksresultaten openbaar worden gemaakt, blijkt duidelijk waar de gegevens en

de conclusies op zijn gebaseerd, waaraan ze zijn ontleend en waar ze te controleren zijn. 4. De wetenschapsbeoefenaren moeten onpartijdig zijn.

Ze moeten objectief zijn om te kunnen oordelen en beslissen. Er moet geen ander doel worden gediend dan wetenschappelijk belang.

5. Wetenschappers moeten onafhankelijk zijn.Ongeacht de belangen van opdrachtgevers moet het onderzoek zonder belangenverstrengeling doorkomen. Anders moet dit worden vermeld bij publicatie.

6. Wetenschappers zijn verantwoordelijk.Ze moeten de gemaakte keuzes kunnen verantwoorden.

Ethische toetsing van onderzoekDoor de Discipline overleg Sociale Wetenschappen (DSW) worden ethische toetsen opgesteld waar onderzoeken aan moeten voldoen. Deze bestaat uit: avoidance of exploitation, just distribution of benefits and burden, respect for persons, respect for human dignity, scientific validity, scientific – social and/or educational relevance, respect for right and specific interests of (specific groups of) research participants, and/or the community/society.

1. Het onderzoeksplanHet onderzoeksplan bestaat uit twee delen: de probleemstelling (bestaat uit de vraagstelling, doelstelling en theoretisch raamwerk)en het onderzoeksontwerp. Dat laatste bestaat uit de vraag ‘hoe’ je een antwoord op de vraagstelling wilt zoeken. Je kan met onderzoek een praktijk of een kennisprobleem oplossen. Vuistregel 1: trek een derde van de beschikbare tijd uit voor deze eerste onderzoeksfaseVuistregel 2: doe het niet alleen, maar maak het plan in overleg met anderen, bij voorkeur met ervaren anderen omdat zij je kunnen behoeden voor fouten die onherstelbaar blijken te zijn.

2.2 De tien onderdelen van een onderzoeksplanProbleemstelling: wat en waarom?1 Vraagstelling: wat wil je precies weten?2 Doelstelling: waarom wil je dit weten?3 Theoretisch raamwerk, eventueel weergegeven als conceptueel modelOnderzoeksontwerp: hoe?4 Hoe wil je je onderzoek opzetten? Opzetten: Grootschalig veldonderzoek Experiment Etnografisch veldonderzoek Analyse van de inhoud van teksten Gebruik van bestaande data5 Wat voor data wil je verzamelen? Dataverzamelingsplan6 Bij wie wil je die data verzamelen? Steekproefplan7 Wanneer wil je die data verzamelen?8 Waar wil je die data verzamelen?9 Hoe wil je die data analyseren? Data-analyseplan10 Hoe wil je rapporteren?

2.2.1 ProbleemstellingDe probleemstelling in het onderzoeksplan geeft antwoord op de vragen wat en waarom jij wilt onderzoeken en eventueel ook vanuit welk theoretisch raamwerk jij dat onderzoek wilt doen.

2.2.2 OnderzoeksontwerpIn dit deel van het onderzoeksplan leg je uit hoe je een antwoord op je vraagstelling wilt verkrijgen. In een dataverzamelingsplan leg je uit wat je wilt verzamelen, om de verschijnselen waarvoor jij belangstelling hebt te kunnen onderzoeken in de sociale werkelijkheid. Dit wordt ook wel een paradigma genoemd: een stelsel van opvattingen dat wordt gedeeld door een groep wetenschappers over wat de juiste of beste wetenschap is waar een wetenschappelijke theorie aan moet voldoen, alsook over de wijze waarop je zo’n theorie zou moeten ontwikkelen respectievelijk confronteren met de sociale werkelijkheid. Bij een steekproefplan beschrijf je bij welke eenheden je data wilt verzamelen en hoe je deze eenheden, bijvoorbeeld mensen, identificeert. In het data-analyseplan beschrijf je hoe je de verzamelde dat wilt analyseren, bijvoorbeeld door statistiek. In het rapportageplan geef je aan hoe je jouw antwoorden op de vraagstelling bekend wilt maken.

2.3 Literatuuronderzoek: voorbereiding op het onderzoeksplanVoorafgaand aan het onderzoek moet je altijd literatuur lezen over je onderzoeksgebied. Dit kan betrekking hebben op de inhoudelijke kant als op de methodologische kant van het onderzoek.

Hoe ga je te werk bij zo’n literatuuronderzoek?1. Bepaal het globale thema waar je belangstelling oor hebt2. Bepaal het zoekmachine of bibliografische database waarmee je data gaat opzoeken

Je gaat zoeken naar relevante literatuur met behulp van trefwoorden. Een literatuuronderzoek naar voorgaande studies geeft idealiter antwoord op de vraag welke kennis al bekend is, welke kennis nog ontbreekt en welke kennis wordt betwist, bijvoorbeeld omdat er tegenstrijdige bevindingen zijn, suboptimale onderzoeksontwerpen zijn gebruikt of inmiddels twijfelachtige theoretische raamwerken.

2.4 De probleemstellingDe probleemstelling bestaat uit 3 delen:

1. De vraagstellingo Wat wil je als onderzoeker weteno Overkoepelende vraag, vergezeld van enkele deelvragen

2. De doelstellingo Waarom wil je het onderzoek uitvoereno Eventueel voor wie

3. Een theoretisch raamwerko Vanuit welk perspectief of wetenschappelijke theorie wordt de vraagstelling

beantwoordEen goede en volledige probleemstelling bevat idealiter een overkoepelende vraagstelling gevolgd door een set daarmee samenhangende deelvraagstellingen, maar in veel wetenschappelijke studies wordt die vraagstelling slechts impliciet weergegeven of uitgeschreven. Daarnaast geeft een probleemstelling ook voldoende aanwijzingen voor het onderzoeksontwerp, dat wil zeggen de wijze waarop het onderzoek het best kan worden uigevoerd. Er zijn praktische, methodische en ethische overwegingen bij het formuleren van een onderzoeksplan.

2.4.1 De vraagstellingEr zijn drie verschillende typen vraagstellingen

1. Beschrijvende vrageno Formuleringen die beginnen met woorden als wie of wat voor, welke, wanneer, hoeo Beschrijvende trendvraagstelling

Vraag die een verandering tussen de jaren beschrijfto Beschrijvende comparatieve vraagstelling

Vraag die een verschil tussen twee locaties beschrijft2. Verklarende vragen

o Het startpunt is een verschijnsel waarvoor men verklaring(en) zoekto Formuleringen met woorden als waarom, waardoor, hoe komt het dat, wat is de

reden voor3. Voorspellende vragen

o Concrete voorspellingen van data die je in het onderzoek verwacht aan te treffeno Formuleringen met woorden als tot welke … leidt …, wat gebeurt er als gevolg van…

Verklarende en voorspellende vraagstellingen zijn causale vraagstellingen. Voorwaarden om te mogen spreken van een causale relatie:

Oorzaak gaat duidelijk vooraf in de tijd van het gevolg Oorzaak en gevolg hangen duidelijk samen De samenhang kan niet worden ‘weg verklaard’ door een derde verschijnsel dat vaak

bepalend is voor zowel de oorzaak als het gevolg

2.4.2. De doelstellingKennisproblemen fundamenteel onderzoekPraktijkproblemen toegepast (praktijkgericht) onderzoekWanneer het onderzoek oplossingen aandraagt die ook relevant of bruikbaar zijn voor andere groepen dan de direct aanwijsbare betrokkenen is er sprake van maatschappelijke relevantie. De doelstelling moet de wetenschappelijke en maatschappelijke relevantie van het onderzoek aangeven. Bij de maatschappelijke relevantie geven onderzoekers aan voor wie de resultaten van het onderzoek bruikbaar kunnen zijn. Valorisatie / impact: onderzoekers dienen vooraf aan te geven voor welke maatschappelijke roepen of instituties hun onderzoek waardevol zal zijn.

Blootstelling aan bepaalde

media

Mediërende factoren

Persoonlijke gezondheid

blootstelling aan diverse

media

Interacterende factoren

Persoonlijke gezondheid

Bij de doelstelling is het onderscheid tussen explorerend en toetsend onderzoek van belang. Bij het eerste is er nog niet veel kennis aanwezig of is er nog geen afdoende praktische oplossing voor een bestaand probleem. Bij het laatste denken onderzoekers voldoende kennis en / of adequate oplossingen te hebben, dit gaan ze na via een onderzoek.

Onderzoek en maatschappelijke ontwikkelingenMaatschappelijke relevantie zorgt ervoor dat sommige thema’s meer aanspreken dan andere.

2.4.3 Het conceptuele model of theoretisch raamwerkHet theoretisch raamwerk is de algemene leidende gedachte waarin het streven schuilgaat om die gedacht uit te werken tot een theorie. Het is dus nog geen gedetailleerde theorie. Het kan worden weergegeven als een model, een vereenvoudigde weergave van hoe de onderzoekers denken dat het gedeelte van de werkelijkheid waarvoor zij belangstelling hebben eruitziet.

Hieronder is een voorbeeld van een mediatie model. Hieronder is een voorbeeld van interactiemodel

2.5 Onderzoeksontwerp

2.5.1 OpzetJe kiest een opzet naar aanleiding van je probleemstelling.

- Retrospectief onderzoek – naar het verleden- Prospectief onderzoek – naar de toekomst

Longitudinaal onderzoek – onderzoek wordt op een aantal specifieke momenten herhaald Doel: nagaan of er sprake is van een verschuiving of van een ontwikkeling

Panelopzet – meerdere dataverzamelingsmomenten, maar dezelfde personen ondervragenParticiperende observatie – continue dataverzameling met meer en minder intensieve periodenAls uitval selectief is, kan dit je onderzoek vertekenen.

2.5.2 Het dataverzamelingsplanDit draait om de relatie tussen de veelal abstracte theoretische concepten en de feitelijke vragen of observaties die je voorstelt om die theoretische concepten waarneembaar te maken. Dit is ook wel de operationalisatie. Een meting of meetinstrument is bijvoorbeeld een vraag die je stelt. Kwalitatief onderzoek is over het algemeen gebruik maken van het verzamelen van tekst. Dit is veel losser en je kunt ter plekke een selectie van gebeurtenissen of voorvallen maken waarover je aantekeningen of notities wilt maken. Kwantitatief onderzoek is over het algemeen gebruik maken van voorgestructureerde dataverzamelingsplannen. Je gebruikt eerder een observatieschema waarop precies staat waarop je moet letten en hoe je dat registreert.Er is ook gemengde methoden onderzoek, waarin de twee samen komen.

2.5.3 Het steekproefplanIn de meeste gevallen verzamel je data via individuen. Dit komt doordat instituties geen vragenlijsten kunnen afnemen. Een onderzoekseenheid is de groep mensen die je gaat onderzoeken. Uit de

vraagstelling moet blijken wie of wat de onderzoekseenheid is. Er is een verschil tussen de eenheden van onderzoek en degene die de onderzoeker over de eenheid informeert. Als je onderzoek doet naar baby’s, dan zijn die de eenheid van onderzoek, maar zijn de ouders de informanten. In plaats van eenheden wordt ook wel objecten, subjecten, deelnemers of participanten gebruikt. In experimenten wordt vaak proefpersonen gebruikt. Bij het GVO wordt vaak respondenten gebruikt, bij interviews spreekt men van geïnterviewden of informanten of participanten.

2.5.4 Wanneer wil je de data verzamelen?Wanneer de onderwerpen die onderzocht worden niet specifiek tijdgebonden zijn, is de onderzoeker vrij om het tijdstip te bepalen waarop het onderzoek plaatsvindt. Soms kan dataverzameling lang duren, soms heel kort.

2.5.5 Waar wil je data verzamelen?Stappenplan

1. Doe je primair of secundair onderzoek?o Primair onderzoek = je gaat zelf data verzamelen

2. Waar vindt dat onderzoek plaats?o De plaats van dataverzameling kan beperkingen opleggen aan de manier waarop de

steekproef getrokken kan worden1. Doe je primair of secundair onderzoek?

o Secundair onderzoek = je gaat gebruik maken van bestaande data2. Kijk in archieven

2.5.6 Het data-analyseplanBij kwalitatieve data-analyse staat vaak de beschrijving van personen of situaties centraal en wel zo dat de lezer een scherpe voorstelling krijgt van situaties en kan begrijpen wat personen beweegt. Dit komt door onderzoeksgegevens te vergelijken. Bij een experiment of grootschalig veldonderzoek (gvo) gaat het vaak om het opsporen van kenmerken waarin groepen van elkaar verschillen en om verbanden tussen kenmerken en/of verschijnselen. Bi de verwerking van dit soort data speelt de statistiek een belangrijke rol.

2.5.7 Het rapportageplanJe moet kiezen of je onderzoek belangrijk is voor Nederland of groter, dus schrijf je in het Nederlands of in het Engels? Bij toegepast onderzoek moet je werk de opdrachtgever tevredenstellen. Het is gebruikelijk je data beschikbaar te stellen aan derden.

2.5.8 Protocol ten behoeve van controleerbaarheid van onderzoekEr zijn drie verschillende manieren van dataverzameling

- Grootschalige dataverzamelingen (gdv)- Etnografische dataverzamelingen (edv)- Mediale dataverzamelingen (mdv)

Voorafgaand aan de definitieve publicatie, maar de facto op het moment van acceptatie van de bijdrage voor publicatie, stelt de onderzoeker een dossier samen waarin alle relevante informatie is opgenomen.

2.6 Ethische en praktische overwegingenJe moet nagaan of je onderzoek mogelijk ongewenste gevolgen kan hebben. In het onderzoeksplan beargumenteer je je keuzen door een afweging te maken tussen de kennisopbrengst enerzijds en de mogelijke schade voor bepaalde groepen anderzijds. Debriefen is het achteraf informeren van je deelnemers.

2.6.1 EthiekEthiek bepaald de vraag en methode.

2.6.2 Praktische overwegingenHet onderzoeksontwerp wordt ook bepaald door praktische voorwaarden, zoals de beschikbare tijd en het beschikbare geld. Het tijdsplan omvat de duur van het beoogde onderzoek als geheel en de invulling van de afzonderlijke fasen daarbinnen. De vraagstelling in combinatie met de beschikbare tijd en middelen bepalen de haalbaarheid van een onderzoek.

2.7 Wijzigingen in het onderzoeksplanHet is aan te raden een voorlopig onderzoeksplan vast te leggen, maar je mag hier wel van afwijken wanneer dit nuttig en nodig is.

3 Benaderingen van onderzoek

3.3 Benaderingen van onderzoekOntologische uitspraken – welke dingen zijn er in de werkelijkheidEpistemologische uitspraken – hoe we kennis over de werkelijkheid kunnen opdoenEr zijn twee soorten wetenschappelijke benaderingen: de empirisch-analytische (kwantitatieve) en de empirisch-interpretatieve (kwalitatieve) benadering.

3.3.1 De empirisch-analytische benaderingHet positivisme gaat uit van een positieve ontwikkeling in de wetenschap: wetenschap wordt gaandeweg ontdaan van theologische, speculatieve en normatieve opvattingen en steeds meer gebaseerd op ‘harde’ kennis: feiten waarvan de juistheid kan worden nagegaan. Belangrijke punten hierbij zijn de herhaalbaarheid van het onderzoek en de controleerbaarheid van de omstandigheden waaronder het onderzoek wordt uitgevoerd. In het logisch positivisme worden zintuiglijk waarneembare feiten vertaald in een reeks van logisch samenhangende, heldere en consistente uitspraken. Twee belangrijke bezwaren tegen het logisch-positivisme:

- Ook niet-zintuiglijke waarneembare begrippen kunnen belangrijk zijno Ook zaken die mensen bedenken (mentaal) is belangrijko Abstracte begrippen, die zich niet zintuiglijk waarneembaar zijn

- Voor de geldigheid van een wetenschappelijke theorie is het niet voelde dat deze kan worden herleid op waarnemingen

o Je moet ook aangeven welke waarnemingsfeiten in strijd zijn met je hypotheseo Je moet je hypothese zo formuleren, dat deze falsifieerbaar is.

De stroming die deze dingen erbij betrekt heet het neopositivisme.

Deze stroming streeft naar nomothetische kennis. Dit is kennis waarin wetten geformuleerd worden, oftewel regelmatigheden zoals vaak voorkomende menselijke of sociale patronen. Bevindingen dienen algemeen te zijn, ze gelden voor zo vel mogelijk gevallen. Ze willen tot (generaliseerbare) uitspraken komen die gelden voor de gehele populatie. Dit geldt zeker voor onderzoekers die het grootschalig veldonderzoek als onderzoeksontwerp verkiezen. Dit is een kwantitatieve insteek.Er wordt vaak gebruik gemaakt van een vragenlijst, waarbij dan de antwoorden de zintuiglijke waarnemingen zijn. Deze kenmerken heten binnen de wetenschap de variabelen. De benadering is reductionistisch, want de kenbare werkelijkheid wordt samengevat in de relaties tussen een beperkt aantal variabelen. Een onderzoeker moet zich waardevrij opstellen en van buitenaf observeren. Dit heet een derdepersoonsperspectief. Door het standaardiseren van de waarnemings- en analysemethoden wordt reductionistisch onderzoek (makkelijker) herhaalbaar. Het

streven naar consensus binnen de wetenschapsgemeenschap wordt ook wel het streven naar intersubjectiviteit genoemd. Door te eisen dat onderzoek herhaalbaar moet zijn wordt de intersubjectiviteit vergroot en wordt de wetenschap zo min mogelijk vertekend door persoonlijke voorkeuren van de onderzoekers. Kritiek:

- Natuurwetenschappen zeggen dat dit een cargo cult is. Naar analogie zal het kopiëren van de natuurwetenschappelijke methoden niet automatisch leiden tot een verbetering van de sociale wetenschappen.

- Sociale wetenschappers zeggen dat er nooit een volledige verklaring gegeven kan worden voor de waarnemingen door bij elkaar gesprokkeld cijfermateriaal.

3.3.2 De empirisch-interpretatieve benaderingVolgens de interpretatieve benadering moet je door de ogen kijken van de mensen die je bestudeerd en de wereld zien zoals zij die zien. Dit heet het eerstepersoonsperspectief. Deze onderzoeksopvatting komt voort vanuit de filosofie en de fenomenologie. De beschrijving van concrete, zichtbare gehelen zoals individuen of groepen vormen het uitgangspunt bij deze benadering. Onderzoekers binnen deze traditie hebben een voorkeur voor de ontwikkeling van theorieën over maatschappelijke verschijnselen waarover we nog weinig kennis hebben. Idiografische kennis is kennis die het eigene ofwel het unieke beschrijft. Onderzoekers binnen de empririsch-interpretatieve benadering zijn specifiek geïnteresseerd in de variatie die zich in een onderwerp van studie voordoet. Een emic observatie is het tegenovergestelde van een etic observatie (de onderzoeker interpreteert van buitenaf). Deze benadering is holistisch, want ze zien de individuen of gezinnen als eenheden die in hun geheel bestudeerd dienen te worden en waartoe meerdere waarnemingsmethoden worden benut. Bij de analyse gebruiken de onderzoekers kwalitatieve methoden, dat wil zeggen dat ze participeren in de te bestuderen situatie, open interviews afnemen, video’s bekijken, dagboeken analyseren, enz., steeds met de doelstelling om de gebeurtenissen vanuit de visie van de betrokkenen te beschouwen. De onderzoeker zelf is hier het onderzoeksinstrument. Deze benadering pleit voor een kwalitatieve traditie van waardeverheldering door onderzoekers. Kwalitatieve onderzoekers dienen zich bewust te zijn van expliciete en impliciete theorieën die hun waarnemingen, interpretaties en analysen kunnen beïnvloeden en verstoren. Dit is een constructivistzionistische manier van onderzoeken.

3.3.3 De overbrugbare animositeit tussen de twee benaderingenEen gemeenschappelijke grond is dat beide benaderingen delen dat zij hun kennis baseren op empirische bevindingen alsook dat elke wetenschappelijke hypothese een empirische basis vereist, ook al kan er discussie zijn over de volgorde waarin de hypothese en empirische basis moeten worden geproduceerd. Bij de kwantitatieve benadering start men vanuit een vraagstelling vaak met een theorie waaruit hypothesen worden afgeleid die vervolgens met empirische data worden getoetst. Er wordt hier gefocust op het toetsen van hypothesen. In de kwalitatieve benadering start met vanuit een vraagstelling en formuleert men een theorie, maar pas nadat er empirische data werden verzameld en geanalyseerd. Er wordt hier gefocust op de ontwikkeling van hypothesen.

Vanuit de aantekeningen bij het werkcollege:Ontologie Vragen Doel Kennis Hoe

Empirisch-analytisch

Reductionistisch Waarde op variabelen

Vooral verklarend

Toetsing van een theorie via deductie

Nomothetisch Grootschalig (kwantitatief) veldonderzoek door survey of experiment

Empirisch-interpretatief

Holistisch / constuctionistisch

Vooral beschrijvend

Expoloratief, theorie ontwikkelen door inductie

Idiografisch Kleinschalig kwalitatief onderzoek door interview of observatie

3.4 Typen onderzoek

3.4.1 Wetenschap als systematische theorievormingBelangrijke kenmerken van wetenschap:

- Het streven naar kenniso Hoe dit gebeurt verschilt per vakgebiedo Wetenschapsparadigma: een wetenschappelijke benaderingo Deze kennis wordt ondergebracht in een theorieo Theorievorming

- Het is empirischo Uitspraken dienen gefundeerd te zijn in empirische uitsprakeno Twijfel of dit voor ieder vakgebied klopt

- Een systematische benaderingo Hier wordt wetenschap van pseudowetenschap onderschedeno Wetenschap heeft methodologische kenmerken

- Wetenschap is cumulatiefo Je bouwt voort op de onderzoeken van voorgangers

3.4.2 Fundamenteel en praktijkgericht wetenschappelijk onderzoekDoel fundamenteel onderzoek = ontwikkeling en/of toetsing van theorie voor oplossen

kennisprobleemDoel praktijkgericht onderzoek = ontwikkeling, uitvoering en evaluatie voor problemen voor

praktijkproblemenEr is ook praktijkgericht niet-wetenschappelijk onderzoek. Het is wel wetenschappelijk als het de spelregels van de wetenschap volgt. Bij fundamenteel en praktijkgericht wetenschappelijk onderzoek is er sprake van theorievorming, hoewel het bij de laatste een minder centrale plaats in. Type Praktijkgericht niet-

wetenschappelijk onderzoek

Praktijkgericht wetenschappelijk onderzoek

Fundamenteel wetenschappelijk onderzoek

Doel Ondersteuning van besluitvorming

Kennis voor besluitvorming

Kennisvermeerdering ten behoeve van theoretische inzichten

Spelregels en normen Praktijknormen Praktijk- en wetenschappelijke normen

Wetenschappelijke normen

Reikwijdte van uitkomsten

Eigen praktijksituatie Eigen praktijksituatie en eventueel generalisatie naar

Generaliserend

andere probleemsituaties

3.4.3 De empirische cyclus

Er zijn een aantal fasen: observatie, inductie, deductie, toetsing en evaluatie. Je begint bij het kennisprobleem. In een fundamenteel wetenschappelijk onderzoek ben je als onderzoeker zelf geheel verantwoordelijk voor de formulering van het kennisprobleem. Als er veel kennis ontbreekt doe je een explorerend onderzoek, om kennis te vergaren en theorieën te maken. Deze loopt vanaf het begin van de cyclus tot en met de vorming van de theorie. Wanneer er al veel kennis op het gebied is en je toetst met je onderzoek een theorie, doe je een toetsend onderzoek. Je maakt de laatste fasen van de cyclus af.

Inductie van hypothesenIn de tweede fase van de empirische cyclus identificeer je als onderzoeker de relevante verschijnselen in een onderzoeksveld en benoem je deze. Je bedenkt ook mogelijke empirische regelmatigheden en samenhangen tussen de verschijnselen. Bij het zoeken naar empirische regelmatigheden of verbanden wordt gebruik gemaakt van inductie. Je gaat dan aan de hand van een aantal concrete observaties een algemene uitspraak formuleren. Er is hier sprake van een veronderstelling of en exploratieve hypothese, omdat er nog gezocht wordt naar een verklaring en een theorie.

TheorieIn de wetenschap bedoelen we met een theorie een samenhangend stelsel van uitspraken waarmee empirische regelmatigheden beschreven, verklaard en voorspeld kunnen worden. De eerste fasen van de empirische cyclus zijn gericht op het vinden of voorzichtig formuleren van een theorie en de laatste fasen zijn gericht op het toetsen van een theorie. Het afwegen van verklaringen is zeer kenmerkend voor de fase van de empirische cyclus waarin een theorie gezocht of verbeterd wordt en nog niet onderworpen is aan een onafhankelijke beoordeling of toetsing.

Deductie van hypothesenVerklaren is het aangeven van een oorzaak van een verschijnsel. Om tot hypothesen te komen, redeneren we van het algemene naar het bijzondere. Deze redeneerwijze noemt men deductie. Soms kun je tegenstrijdige hypothesen formuleren, dit moet je dan ook doen.

Inductie Hypothesen

Theorie

Deductie Hypothesen

Toetsing

Evaluatie

Kennisprobleem: Wat?

Voorlopige onderzoeksopzet: bij wie, waar, wanneer en hoe?

GegevensverzamelingGegevensanalys

ToetsingHypothesen worden in deze fase van de empirische cyclus gezien als belangrijke concrete en vooral toetsbare uitspraken die je afleidt uit bepaalde theorieën. Toetsen vindt plaats door de analyse van de empirische gegevens die worden verzameld naast de hypothese te leggen. Als de uitkomst van de analyse niet strijdig is met de hypothese (geen falsifiëring, maar een verificatie) wordt de hypothese bevestigd. Wanneer dit niet het geval is, wordt de hypothese verworpen of aangepast.

EvaluatieIn de evaluatie beantwoord je de vraag of je het betreffende kennisprobleem waarvoor je als onderzoeker belangstelling hebt, daadwerkelijk hebt opgelost. Is dit zo, dan ga je een nieuw kennisprobleem zoeken. Is dit niet zo, geef je aan waar je onderzoek nog een gedeelte mist. Je kunt een nieuwe empirische cyclus starten. Je kunt ook de theorie op kleine punten aanpassen. In een evaluatie kun je ook weergeven wanneer je denkt dat er nog een andere verklaring mogelijk is.

De twee wetenschappelijke benaderingen in de empirische cyclusIn de empirisch-analytische benadering ligt de nadruk soms op de inductieve fasen van exploratief onderzoek maar toch meestal en vooral op de deductieve fase van het toetsend onderzoek. In de empirisch-interpretatieve benadering wordt vaak een spiraalvormige opeenvolging van verschillende empirisch cycli doorlopen, waarin een steeds bredere en diepere theorie ontwikkeld wordt, in die zin dat het domein van de theorie wordt uitgebreid en de abstractie toeneemt.

3.4.4 De regulatieve cyclusDe hiervoor beschreven cyclus is vooral typerend voor fundamenteel onderzoek. De regulatieve cyclus wordt gebruikt bij toegepast wetenschappelijk onderzoek. Praktijkgericht onderzoek is niet theorieloos, er wordt gebruikgemaakt van bestaande theoretische inzichten waarin uitspraken zijn opgenomen die empirisch zijn getoetst. Soms worden er eigen theorieën ontwikkelen, die dan praktijktheorieën heten. Het woord regulatief betekent gericht op beslissingen.

Er zijn overeenkomsten bij de twee cyclussen. Ze lijken qua structuur op elkaar, maar er is een groot verschil: deze cyclus geeft allereerst het denken van de besluitvormers weer. Ze willen weten waar het probleem vandaan komt en stellen daartoe mogelijke diagnoses. Daarna zetten ze alle mogelijke plannen om het probleem op te lossen op een rijtje, waarna ze willen weten wat er eventueel aan te doen zou zijn en vormen dan een besluit tot een bepaalde probleemoplossing. Daarna passen zij ingreep of interventie toe, waarna ze kijken of deze wordt uitgevoerd en deze leidt tot verandering.

Diagnose

Planvorming

Plan- en besluitvorming

Ingreep of interventie

Verandering

Praktijkprobleem

De regulatieve cyclus is dus geen onderzoekscyclus, maar wel een cyclus die aangeeft waarop onderzoek kan aangrijpen.

Formulering van een praktijkprobleemDe probleemstelling is in praktijkgericht wetenschappelijk onderzoek niet alleen een zaak van de onderzoekers, maar ook van de opdrachtgevers en andere betrokkenen uit de desbetreffende praktijk. De eerste stap van wetenschappelijke praktijkonderzoekers is het contact leggen met een veld of met een organisatie die optreedt namens de personen die het praktijkprobleem ervaren, personen die zich in dit veld bevinden. Vervolgens formuleren de onderzoekers een eerste doel- en vraagstelling en leggen deze voor aan de opdrachtgevers en eventueel ook aan andere betrokkenen. Bij de start van het onderzoek is het vaak noodzakelijk een probleemanalyse te verrichten, zodat ze de stand van zaken op het thema goed kennen. Om dit te doen gebruiken ze verschillende methoden: ze analyseren bestaand materiaal uit de praktijksituaties, ondervragen deskundigen of experts over de situatie, observeren de situatie en bestuderen literatuur om te weten te komen of theorievorming en eerder onderzoek al resultaten hebben opgeleverd.

DiagnoseIn de tweede fase van de regulatieve cyclus wordt de probleemsituatie onderzocht en de oorzaken van het probleem achterhaalt. Hier schiet de probleemanalyse meestal tekort om de oorzaken van het probleem voorlopig vast te stellen. Kenmerkend voor diagnostisch onderzoek is dat er een voorlopige analyse van de uitgangssituatie wordt gemaakt. In deze fase is er voortdurend overleg met de opdrachtgevers en betrokkenen.

PlanvormingBij praktijkgericht wetenschappelijk onderzoek gaat het in de eerste instantie om een beschrijving van de probleemsituatie en vervolgens om het vinden van een bepaalde oplossing voor het praktijkprobleem in deze beschrijving. Daarom wordt in de betreffende modellen een onderscheid gemaakt tussen niet of moeilijk te veranderen kenmerken en kenmerken die wel goed te veranderen zijn. Omdat in deze fase een brede inventarisatie van mogelijke verklaringen wordt opgezet waaruit je als onderzoeker een coherent geheel probeert te construeren, lijkt deze fase nog het meest op de vorming van een theorie.

Plan- en besluitvormingIn de volgende fase ga je als onderzoeker van planvorming naar besluitvorming: er wordt een plan gevormd waarin het doel en de middelen staan vermeld. Er wordt in deze fase dus onderzoek gedaan naar de meest optimale en haalbare oplossingen voor het probleem, een selectie waarvoor vaak de opdrachtgevers verantwoordelijk zijn en waarvan zij de stellige verwachting hebben dat die een oplossing gaat opleveren voor het praktijkprobleem. De onderzoekers zijn hier adviseurs. Zij maken hierbij gebruik van fundamentele theorie en uit voorgaande ervaring gewonnen praktijktheorie. Voorafgaand aan besluitvorming, ga je als onderzoeker een analyse van de mogelijke effecten maken. Dit wordt ook wel ex ante evaluatie genoemd. Omdat in deze fase eigenlijk een keuze gemaakt moet worden voor de maatregelen waarvan men het meeste effect verwacht, gelijkt deze fase feitelijk op de fase van het deduceren van een of meerdere hypothesen in de empirische cyclus. Als het onderzoek ter ondersteuning en beoordeling van de voorlopige plannen en besluiten wordt wel planevaluatie genoemd.

InterventieIn de fase van de interventie wordt het plan uitgevoerd. Kenmerkend voor deze fase zijn verschillende metingen na elkaar waarmee tijdens de interventie de gang van zaken gevolg wordt en de (tussentijdse) uitkomsten worden gemeten. Dit noemt men ‘procesbegeleidend onderzoek’ of

procesevaluatie, of de formatieve evaluatie. Als de ingreep onvoldoende is, wordt het plan verworpen of bijgesteld.

VeranderingTen slotte wordt het plan geëvalueerd en wordt de vraag beantwoord of er sprake is van een verandering waardoor het praktische probleem is opgelost of dan toch tenminste is gereduceerd. Het gaat hier om de eindevaluatie ofwel de vraag naar de uiteindelijke effectiviteit van de ingreep. Dit is een effectevaluatie, productevaluatie of een summatieve evaluatie, die plaatsvinden in het evaluatieonderzoek. De uitdrukkelijke beodeling hierbij is het beleid meer ‘evidence-based’ te maken, dus beleid dat gebaseerd is op bewezen effectiviteit in de praktijk. Er wordt in deze fase ook een kosten-batenanalyse gemaakt en worden de neveneffecten van de interventie geanalyseerd. Er is geen waterdichte scheiding tussen praktijk en fundamenteel onderzoek. Het cruciale verschil is dat praktijkgericht wetenschappelijk onderzoek een direct nut dient te hebben voor aanwijsbare betrokkenen.

3.5 Overzicht en inzichtEr zijn overeenkomsten tussen de empirische en regulatieve cyclussen. Ze beginnen beide met een probleem, dan wel kennis of praktijk, waarvan de onderzoekers/beleidsmakers willen weten waar het probleem vandaan komt en maken daarom diagnoses (inductie). Daarna zetten ze alle mogelijke plannen op een rijtje (wat kunnen we eraan doen? Lijkt op theorie) waarna er een besluit wordt genomen (deductie) waarvan ze verwachten dat deze het probleem oplost. Hierna wordt de ingreep toegepast (toetsing) waarna er wordt gekeken naar een verandering (evaluatie).Tussen de diagnosefase en de planvormingsfase is er is er ruimte voor het ontlenen van kennis van het fundamentele onderzoek. Ook tussen de ingreep en de evaluatiefase kan fundamenteel onderzoek helpen. Het grootste belang is dat je op analytische en kritische wijze onderzoeksplannen kunt doorzien en beoordelen.

4 Theorieën, hypothesen en operationalisaties

4.2 Theorie als een samenhangend stelsel van uitsprakenEen zinvolle manier om een theorie te benaderen is om deze te beschouwen als een deductief-nomologisch model. Dit komt overeen met de deductieve fase uit de empirische cyclus. Dit model is hetzelfde als een syllogisme: je begint met een wetmatigheid (algemene uitspraak) en bijkomende veronderstellingen (aannames) waaruit een hypothese (specifieke uitspraak) vloeit.

Voorwaarden voor een verklaringsmodelPas na deze voorwaarden voldoet een theorie aan een DN-model:

- Uitspraken binnen de theorie zijn precies geformuleerdo Ook al zijn de begrippen nog abstract, ze zijn goed gedefinieerd of goed omschreven

- Uitspraken kunnen worden geordend naar algemeenheido Sommige uitspraken zijn algemener dan andere

- Er moet een logisch verband zijn tussen de verschillende uitspraken binnen de theorieo De hypothesen moeten afgeleid kunnen worden uit de algemenere uitspraken

- Specifiekere uitspraken van het model moeten in de empirie getoetst kunnen wordeno Anders geen mogelijkheid om te kijken of de theorie in de werkelijkheid opgaat

De algemene uitspraken vormen de basis van de theorie. Deze uitspraken zijn te abstract om overal en altijd te gelden.

De aannames zijn bindingen tussen de algemene uitspraken en de concrete uitspraken. De hypothesen zijn zo concreet dat je met een goed onderzoeksplan kunt nagaan of ze stand houden bij waarnemingen in de empirische werkelijkheid. Een belangrijk eigenschap van verklaringsmodellen vinnen de sociale wetenschappen is dat de verschillende uitspraken binnen een dergelijk model niet altijd deterministisch zijn. De theorieën beschrijven algemene verbanden. Verbanden tussen verschillende abstracte begrippen zijn niet allesbepalend, bijna altijd spelen andere factoren ook een rol. Een andere eigenschap van deze modellen is dat er veelal geen aandacht wordt besteed aan de bij wie-, waar- en wanneer-vragen die zo belangrijk zijn in het onderzoeksontwerp. Deze staan welk in de publicatie, maar niet in het theoretisch model. Er zitten ook uitspraken in een DN-model die voor de onderzoek vanzelfsprekend zijn, deze maakt de onderzoeker dan niet expliciet. Voor een formele en volledige beschrijving van een DN-model zijn echter ook deze uitspraken belangrijk, omdat anders de conclusie niet logisch afgeleid kan worden uit de algemene uitspraken.

4.3 Methodologische spelregelsEr zijn eisen gesteld aan onderzoekers. Dit zijn de eisen van empirische waarnemingen en toetsbaarheid, maximale informativiteit, transparantie en controleerbaarheid.

4.3.1 Empirische waarnemingen en toetsbaarheidDe eerste eis luidt dat wetenschappelijke uitspraken, in het bijzonder de hypothesen, empirisch waarneembaar en dus toetsbaar moeten zijn. dat wil zeggen dat de juistheid of onjuistheid van een uitspraak nagegaan moet kunnen worden door op een systematische manier empirische gegevens te verzamelen. Het streven naar bevestiging (verificatie) van uitspraken noemt men verificationisme, dat vaak voorkomt in de empirisch-interpretatieve benadering. Het streven naar weerlegging (falsifiëring) noemt men alsificationisme, en komt vaak voor in de empirisch-analytische benadering. Het inductieprobleem is het fundamentele probleem waarmee de empirisch-interpretatieve traditie kampt, volgens de empirisch-analytische traditie. Het is dat je de theorie kan bevestigen, maar dat je dan niet de gehele kant hebt gezien.Een probleem bij falsificatie is dat het niets zegt over welk deel in de theorie onwaar is. Dit is het probleem van de onderbepaaldheid of onderdeterminatie. Wetenschappelijke kennis is altijd voorlopige kennis. In vervolgonderzoek kan altijd blijken dat algemene uitspraken en/of aannames op tussenliggende niveaus anders moeten worden geformuleerd, moeten worden aangevuld of geconditioneerd aan de hand van ondersteunende aannames. De eis van toetsbaarheid leidt er binnen de wetenschap toe dat bepaalde uitspraken of hypothesen buiten beschouwing worden gelaten. Dat geld voor speculatieve uitspraken, normatieve uitspraken en uitspraken met een onscherpe tijds- en/of plaatsaanduiding. Een consequentie van deze eis is dat de hypothesen ondubbelzinnig moeten zijn geformuleerd.

4.3.2 Maximale informativiteitDe mate van informativiteit van een uitspraak kan worden nagegaan door het aantal waarnemingen, of mogelijke toetsuitslagen, dat de uitsprak weerlegt, te tellen. Het aantal mogelijke weerleggingen = falsificatoren. Dus eigenlijk; hoe meer kans op falsificatie = hoe informatiever een uitspraak is. We kunnen de relatieve mate van informativiteit van een aantal uitspraken evalueren door naar het domein van de uitspraken en naar de mate van specificiteit van de uitspraken te kijken. Het domein is hoe algemeen de uitspraak is. De specificiteit van de uitspraak is hoe specifiek het is. Hoe groter het domein en hoe groter de specificiteit van een uitspraak, hoe groter de informativiteit. Let wel op, want door te veel maximale informativiteit na te streven kan een onderzoeker in de sociale wetenschappen uit het oog verliezen waar het echt om draait: de harde kern van zijn theorie.

4.3.3 Transparantie en controleerbaarheidHet onderzoek moet repliceerbaar zijn. Om een onderzoek te kunnen repliceren of herhalen moet wetenschappelijke kennisopenbaar zijn en moet explicitering van uitspraken plaatsvinden. Onderzoekers moeten dus transparant, uitputtend en nauwkeurig aangeven welke beslissingen zij hebben genomen en hoe ze tot de gevonden resultaten zijn gekomen. Persoonlijke voorkeuren van onderzoekers mogen in een onderzoek beste een rol spelen, maar wanneer de resultaten gekleurd zijn, worden ze gecorrigeerd door andere wetenschappers. In de moderne wetenschapsopvattingen staat intersubjectiviteit centraal. Dit houdt in dat wetenschappers elkaar corrigeren, zodat de eigen mening minder centraal staat. Daarbij betekent het ook dat je als onderzoeker met anderen kunt en moet discussiëren over de vraag in hoeverre je opvattingen doorspelen in de concrete beslissingen die je neemt in de loop van het onderzoeksproces. De eisen van transparantie en controleerbaarheid zijn in de sociale wetenschappen extra belangrijk, omdat de onderzoeken niet altijd repliceerbaar zijn.

4.4 Wetenschappelijke definitiesJe moet als onderzoeker heldere definities van de verschillende onderdelen van de gebruikte theorie weergeven. Definiëren is het zo nauwkeurig mogelijk vastleggen van de betekenis van een begrip door middel van een omschrijving. Dit is nodig zodat anderen je uitspraak niet dubbelzinnig begrijpen en dat andere wetenschappers het eens zijn dat de definitie past bij het onderzoek. Een omschrijving moet aan een zestal criteria voldoen:

1. De gebruikte begrippen in de omschrijving worden op hun beurt gedefinieerd, behalve wanneer ze voor iedereen duidelijk zijn en dus geen nadere definitie nodig hebben.

2. Het begrip zelf mag in de omschrijving niet voorkomen en ook geen synoniem daarvan.3. De omschrijving moet compleet zijn, dat wil zeggen dat zij alles omvat wat men eronder wil

verstaan.4. De omschrijving dient uit te sluiten wat men er niet onder wil verstaan.5. De omschrijving moet bij voorkeur niet afwijken van gangbare omschrijvingen.6. De omschrijving mag geen normatief karakter hebben.

4.4.1/2/3 Definities van kenmerken: wat / onderzoekseenheden : wie / tijd en plaats: wanneer en waarJe moet bijvoorbeeld etnische minderheid kunnen definiëren, maar ook onderzoekseenheden kunnen aanduiden en duidelijk vaststellen op welke periode en op welke plaats, omgeving of situatie het onderzoek betrekking heeft.

4.5 Operationaliseren

4.5.1 Waarneembaar maken van begrippen in de vraagstellingHet steeds concreter waarneembaar maken van de begrippen in de vraagstelling en/of hypothesen heet operationaliseren. Dit houdt in dat heel precies wordt aangegeven hoe begrippen uit de vraagstelling en hypothesen gemeten worden. Abstracte wetenschappelijke begrippen noemt men ook wel concepten of constructen. Operationalisme is de opvatting die zegt dat elk begrip gelijk moet zijn aan de operationalisatie daarvan. In het algemeen is er een onderscheid tussen het oorspronkelijke begrip (het begrip zoals bedoeld) en de operationalisatie van dat begrip (het begrip zoals bepaald). De operationalisatie bedekt vrijwel nooit het hele construct. Het is daarom een optie om voor verschillende operationalisaties te kiezen, zodat de tekortkomingen van de ene bij de andere worden gebruikt.

4.5.2 Operationaliseren van kenmerken uit hypothesenBij grootschalig veldonderzoek formuleer je als onderzoeker meerdere vragen in vragenlijsten als operationalisaties van de begrippen uit de vraagstelling of de hypothesen.

Van enkelvoudige vragen naar meervoudige vragen: tests, toetsen en schalenWetenschappers meten dus eigenschappen ofwel kenmerken. Daarvoor zijn tests ontwikkeld. Als het gaat om het vaststellen van kennis, wordt het ookwel een toets of tentamen genoemd. Schalen zijn meetinstrumenten om eigenschappen of kenmerken te meten van groepen, personen of organisaties. De tests, toetsen en schalen zijn dikwijls gebaseerd op een verzameling vragen waarop respondenten een antwoord kunnen geven. De afzonderlijke vragen worden items genoemd. Wanneer meetinstrumenten al bestaan hebben ze vaak een hoge validiteit en betrouwbaarheid. Als je een nieuw instrument moet ontwikkelen, is het belangrijk vooronderzoek te doen. In het vooronderzoek moet je dit instrument ook toetsen.

Variabelen en hun waardenHet resultaat van een vraag met diverse antwoordmogelijkheden is een variabele. Het is een eigenschap die, of kenmerk dat hoort bij de eenheid die deel uitmaakt van de doelpopulatie. Deze variabelen kunnen meer dan twee of meer waarden aannemen. Waarden zijn de categorieën of scores die op de variabelen kunnen worden onderscheiden.

De datamatrixEen datamatrix is een tabel waarin de rijen worden gevormd door de verschillende eenheden (HORIZONTAAL), terwijl de kolommen (VERTICAAL) de verschillende variabelen bevatten. In iedere cel van de datamatrix wordt de waarde van de betreffende eenheid op de betreffende variabele ingevuld. Het weergeven van eenheden, variabelen en waarden in de vorm van een datamatrix heeft een aantal belangrijke voordelen. Zo is het door de compacte vorm van de datamatrix makkelijker om een bepaalde waarde direct te vinden en om gegevens in deze vorm in de computer op te slaan of aan andere onderzoekers over te dragen. Daarnaast is het voor het uitvoeren van statistische analyses vaak noodzakelijk om de waarden van de eenheden op de variabelen op deze manier in een datamatrix weer te geven. Veel statistische software kan de data alleen analyseren als de gegevens in de datamatrix uit cijfers bestaan. Als je in een datamatrix cijfers in plaats van verbale labels wilt opslaan, dan moet je een codeboek maken, waarin staat welke variabelen er zijn en met welke waarden de scores op de variabelen overeenkomen.

Meetniveau van variabelenHet vervangen van de oorspronkelijke antwoorden door waarden of cijfers brengt wel een valkuil met zich mee. Cijfers suggereren namelijk dat allerlei rekenkundige bewerkingen zijn toegestaan en ook zinvolle resultaten zullen opleveren. Het gevaar bestaat dat daarbij de oorspronkelijke betekenis van de waarden van de variabelen uit het oog worden verloren. Het is dus belangrijk om stil te staan bij de betekenis van de waarden die op de variabelen onderscheiden worden. Dit heeft te maken met het meetniveau van de variabele. Het soort waarden dat we op een variabele kunnen onderscheiden, bepaalt het meetniveau van de variabele. Een categorische variabele is een variabele waarvan de waarden bestaan uit categorieën (man/vrouw).

- Nominaal meetniveauo Er is geen vanzelfsprekende ordening van de categorieëno Toewijzing van cijfers is dus willekeurigo Gemiddelde scores zijn dus onzinnigo Kwalitatieve variabele

- Ordinaal meetniveauo Logische ordening van de categorieën o Zinvolle ordeningo Afstand tussen categorieën kan niet veel over worden gezegdo Kwalitatieve variabele

- Interval meetniveauo Verschil tussen waarden wel zinvol

o Intervallen tussen waarden zijn te vergelijkeno Kwantitatieve variabele

- Ratio meetniveauo Afstanden tussen waarden gelijko Kwantitatieve variabeleno Er is een absoluut nulpunt

4.5.3 Operationaliseren van eenhedenDe eenheden in sociaalwetenschappelijke uitspraken zijn de objecten waarover je als onderzoeker iets wilt zeggen. Dit kunnen groepen zijn, of bedrijven of gemeenten. Nadat je de doelpopulatie definieert, moet je als onderzoeker bepalen welke eenheden precies onderzocht gaan worden. Ook moet je nog besluiten hoe je deze gaat benaderen en wie er dan ondervraagd gaat worden.

4.5.4 Operationaliseren van plaats en tijdDoor de operationalisatie van de constructen wordt in veel gevallen duidelijk welke plaats en tijd je als onderzoeker bedoelt. Bij de dataverzameling wordt vaak duidelijk wat de plaats en tijd waren van het onderzoek.

4.6 Kwaliteit van de operationalisaties: validiteit en betrouwbaarheidWat je in gedachten moet houden:

1. Dekken je waarnemingen die bepaalde aspecten in de sociale werkelijkheid in voldoende mate?

2. Zijn je waarnemingen nauwkeurig en hangen ze niet af van toevallige en onbedoelde invloeden?

De betrouwbaarheid van een operationalisatie kan kort worden samengevat als de mate waarin toevallig fouten kunnen worden uitgesloten. Toevallige fouten worden beschouwt als meetfouten. We mogen als onderzoeker aannemen dat deze fouten niet systematisch zijn en elkaar in de onderzoeksgroep als geheel ongeveer in evenwicht houden. Daarom nemen we aan dat door zulke toevallige meetfouten de onderzoeksresultaten niet systematisch worden beïnvloed. Het algemene beeld van de onderzoeksresultaten wordt daarom niet aangetast door toevallig fouten. Bij validiteit gaat het om de vraag of je als onderzoeker met je waarnemingen ook daadwerkelijk die aspecten van sociale verschijnselen in de werkelijkheid dekt waarop de constructen uit je vraagstelling en/of hypothesen betrekking hebben. het gaat om systematische fouten die leiden tot een systematische vertekening van de resultaten. Zulke fouten houden elkaar niet in evenwicht zoals bij de toevallige fouten.

4.6.1 Validiteit van gemeten variabelenFace validity = op het eerste gezicht lijkt het valide, maar zijn dit dus niet.

InhoudsvaliditeitHet meetinstrument dat je gebruikt bevat alle of ten minste vele soorten items die er volgens deskundige die je zijn voorgegaan, in horen te zitten. Het gaat om het volgen van een zorgvuldige procedure waarbij je collega’s betrekt en met hen discussieert teneinde de inhoudsvaliditeit te waarborgen.

SoortgenotenvaliditeitWanneer het bestaande meetinstrument niet meer van deze tijd is ga je het oude en het nieuwe meetinstrument voorleggen aan een nader omschreven doelpopulatie. Als de antwoorden sterk samenhangen is het nieuwe meetinstrument goedgekeurd. Het instrument blijft hier hetzelfde, alleen de (in geval van enqûete) vragen veranderen.

Convergente validiteitWanneer je twee verschillende instrumenten gebruikt en ze geven een sterke samenhang aan, dan wijst dat op convergente validiteit. Ze meten hetzelfde begrip. Convergente validiteit gaat verder dan soortgenootvaliditeit, omdat de onderzoeker wil aantonen dat twee geheel verschillende manieren om hetzelfde construct te meten, convergeren. Bij soortgenootvaliditeit lijken de beide instrumenten juist zeer sterk op elkaar; alleen het onderwerp verschilt.

Construct- of begripsvaliditeitDit betreft de mate waarin de empirische waarnemingen de theoretische begrippen of constructen dekken. Dit is lastig te onderzoeken. Ook kan het zijn dat een begrip nog surplusbegrippen heeft. De samenhang tussen verschillende constructen kunnen ook een bevestiging zijn voor de constructvaliditeit.

Predictieve validiteitDeze wordt veel gebruikt bij praktijkgericht wetenschappelijk onderzoek, constructvaliditeit veel bij fundamenteel wetenschappelijk onderzoek. Als voorspellingen herhaaldelijk niet blijken uit te komen, is de predictieve validiteit van de test gering.

2.6.2 Betrouwbaarheid van gemeten variabelenBij het meten van variabelen in een grootschalig veldonderzoek speelt betrouwbaarheid een belangrijke rol. Bij het invullen van een test of schaal kunnen toevallige fouten optreden. De items van een test of een schaal zijn verschillende operationalisaties van hetzelfde begrip, ook wel parallelle operationalisaties genoemd. De toevallige fouten worden in deze parallelle items opgeheft. De som van deze gemiddelde itemscore zal betrouwbaarder zijn dan die van de afzonderlijke itemscores. In een itemanalyse wordt er per item nagegaan of er hier veel fouten zijn gemaakt. Zolang de samenhang tussen de score op elk afzonderlijk item en de schaal- of testscore hoog is, spreken we van hoge betrouwbaarheid. Bij het doen van een experiment worden variabelen gemanipuleerd. Een onderzoeker bevordert de betrouwbaarheid van een gemanipuleerde variabele in een experiment door alle onderdelen van de experimentele manipulatie heel precies vast te leggen in een protocol. Dat protocol moet vervolgens steeds op dezelfde manier worden uitgevoerd. De betrouwbaarheid van een meting wordt meestal bepaald door de meting op een of andere manier te herhalen en dan de overeenstemming tussen beide metingen te bepalen: de overeenstemming is feitelijk de mate waarin respondenten dezelfde antworden geven bij herhaalde meting. Hoe groter de overeenstemming, hoe minder toevallige fouten en hoe meer betrouwbaarheid. Bij schalen wordt de betrouwbaarheid bepaalt door twee keer kort achter elkaar dezelfde groep deze af te nemen. Dit is test-hertest betrouwbaarheid. Een andere mogelijkheid is twee varianten van de meting tegelijk af te nemen. Dit is de test-paralleltest betrouwbaarheid. Wanneer er maar 1 schaal is die heel groot is, kun je deze door 2 verdelen. Dit is de split-half betrouwbaarheid. Hier zijn toch veel manieren om de test te delen, dus is daar een betrouwbaarheidscoëfficiënt voor gemaakt. Bij observaties in een experiment of EVO kun je de betrouwbaarheid bepalen door het waargenomen gedrag in categorieën van een variabele te plaatsen. Bij inhoudsanalyse doet een codeur hetzelfde met de inhoud van audiovisueel materiaal en van teksten. Door dit door twee codeurs of observatoren te laten doen, vergroot je de betrouwbaarheid. Dit is de interobservatorbetrouwbaarheid of de intercodeurbetrouwbaarheid. Er is hier ook een betrouwbaarheidscoëfficiënt voor.

4.6.3 Validiteit en de steekproef van onderzoekseenhedenOm te weten of de onderzoeksresultaten gegeneraliseerd kunnen worden naar de echte wereld gebruik je de externe validiteit.

Populatievaliditeit is de mate waarin de steekproef een goede afspiegeling is van de populatie waarnaar de onderzoekers willen generaliseren. Het gaat dus om representativiteit. Door het nemen van een aselecte steekproef proberen onderzoekers een representatieve steekproef te krijgen. Ecologische validiteit is de mate waarin de resultaten van een onderzoek kunnen worden gegeneraliseerd naar andere plaatsen en andere tijden of, meer omvattend, naar andere omstandigheden als die waarop het onderzoek feitelijk betrekking had of waarin het zich afspeelde. Dit aspect van externe validiteit is eigenlijk alleen vast te stellen door het onderzoek echt onder die andere omstandigheden te repliceren.

4.6.4 Betrouwbaarheid van de steekproef van onderzoekseenhedenWanneer bij een steekproef van de onderzoekseenheden wordt verwezen naar de betrouwbaarheid van de steekproef, verwijst dit naar het effect van het trekken van een aselecte of random steekproef. Bij iedere aselecte steekproef kan toch een andere uitkomst komen, door toevallige fouten. Meestal noemen statistici dit geen betrouwbaarheid, maar nauwkeurigheid van de schatting die ze op basis van de steekproef maken over een grootheid in de gehele populatie. Hoe groter de steekproef is, hoe nauwkeuriger je een gemiddelde of percentage in de doelpopulatie kunt schatten. Toch wordt er vaak in de praktijk met kleine steekproeven gewerkt.

4.7 BruikbaarheidEen eerste voorwaarde voor de bruikbaarheid van onderzoeksresultaten, is dat de resultaten voldoen aan de criteria van validiteit en betrouwbaarheid. Er worden drie soorten gebruik van sociaalwetenschappelijk onderzoek onderscheiden.

Conceptueel gebruikHet gebruiken van de resultaten in een wetenschappelijk of maatschappelijke discussie. Het gaat daarbij om nieuwe gezichtspunten die van invloed kunnen zijn op wijzigingen in de probleemformulering en die daarmee indirect van invloed zijn op de manier waarop een probleem wordt aangepakt. Conceptueel gebruik vindt vooral plaats wanneer de manier waarop een probleem gedefinieerd wordt niet meer voldoet, niet meer strookt met de werkelijkheid of geen uitzicht biedt voor oplossingen.

Instrumenteel gebruikVan instrumenteel gebruik is sprake bij het nemen van beleids- of veranderingsbeslissingen. Het gaat dan om praktijkgericht onderzoek waarbij de onderzoeksresultaten direct gebruikt owrden of fundamenteel onderzoek waarvan de bevindingen worden toegepast. Vaak is het onderzoek in kwestie zelfs opgezet om die beslissingen te ondersteunen.

Gebruik om te overtuigenDit type gebruik is een combinatie van de andere twee. Het gaat om een discussie of verschil van mening, maar het onderzoek is ingesteld door een partij om argumenten te krijgen om haar standpunt te ondersteunen. Het doel is om bij de andere beslissers een beleidswijziging gedaan te krijgen in de richting van de doeleinden van deze partij.

De bruikbaarheid van het onderzoek is de mate waarin de aangedragen kennis bijdraagt tot verbetering van de te nemen beslissingen volgens de normen van degenen die daarover een oordeel vellen. Om twee redenen vallen methodologische beslissingen in praktijkonderzoek soms anders uit dan in fundamenteel onderzoek.

- De deelnemers beslissen aan het onderzoek vaak mee over de opzet van het onderzoek. Het is ook goed om de opdrachtgevers mee te laten beslissen. Hiervoor staan de volgende redenen:

o Bij de operationalisatie wordt de vraagstelling concreet waarneembaar gemaakt. Er wordt beslist wat er wel of niet wordt onderzocht. Het is belangrijk dat de opdrachtgevers en uitvoerders dit weten en meedenken.

o Betrokkenen zijn het meest deskundig in het veld van onderzoeko Het onderzoek zelf kan een behoorlijke belasting betekenen voor het veld van

onderzoek. Het veld kan er door veranderen dus moeten de betrokkenen dit weten.o Tijdens het onderzoek kan blijken dat om methodologische of praktische redenen

een verandering van de vraagstelling noodzakelijk is. een onderzoeker kan niet onaangekondigd met een ander onderzoek komen dan vooraf afgesproken.

o Omstandigheden kunnen veroorzaken dat de beleids- of praktijkvragen gedurende het onderzoek veranderen.

- Met name die aspecten van het onderwerp van studie worden onderzocht waarvan men vooraf denkt dat ze relevant zijn voor de te nemen besluiten.

4.8 Terugblik en vooruitblik: van vraagstelling naar theorie, hypothesen, operationalisaties en weer terug

De algemene theoretische uitspraken en begrippen worden uiteindelijk uitgewerkt tot hele specifieke vragen en variabelen. Pas daarna kun je gegevens gaan verzamelen en analyseren.

5 Grootschalig veldonderzoekGrootschalig veldonderzoek is een onderzoeksontwerp waarin je als onderzoeker voor het beschrijven en verklaren van sociale verschijnselen vragen stelt aan een groot aantal ondervraagden, respondenten genoemd. Om te bepalen wie je gaat ondervragen, trek je een steekproef uit een grote onderzoekspopulatie. Er worden over het algemeen vragenlijsten gebruikt. De vragenlijsten worden gestandaardiseerd zodat je van alle ondervraagden vergelijkbare informatie krijgt. Standaardisatie wil niet alleen zeggen dat de vragenlijst gestandaardiseerd is, maar ook dat iedereen op eenzelfde manier wordt geïnterviewd. Voor een grootschalig veldonderzoek wordt meestal niet iedereen in de doelpopulatie ondervraagd. Wanneer de personen in de doelpopulatie allemaal ondervraagd worden, heet dit een census ofwel een volkstelling. Er wordt vaker gebruikgemaakt van een steekproefbasis. Dit soort onderzoek is ook belangrijk bij opiniepeilingen. Internet is een nieuwe manier van het grootschalig veldwerk, maar hier is veel kritiek op omdat sommigen (ouderen) hier niet bereikt worden of sommigen (met een drukke baan) weigeren mee te doen.

5.2 Het onderzoeksplan: de probleemstelling, wat en waarom?

5.2.1 Vraagstellingen: wat wil je precies weten?Grootschalige veldonderzoeken worden veelal uitgevoerd op grond van vraagstellingen waarmee je een overzicht probeert te krijgen over kwesties die in een bepaalde populatie spelen. Marktonderzoekbureaus en de overheid maken gebruik van deze methode. Beleidsonderzoek is het onderzoek dat kijkt of beleid werkt. Dit wordt meestal uitgevoerd door onafhankelijke onderzoeksbureaus. Je kunt grootschalig veldonderzoek ook herhalen. In een herhaald cross-sectioneel onderzoek worden respondenten uit steeds weer nieuwe steekproeven periodiek ondervraagd met dezelfde vragen. Dit noemt men een trendsurvey. Een variant hierop is een zogenaamd panelsurvey waarin dezelfde respondenten herhaaldelijk worden benaderd met dezelfde vragen met het doel om individuele veranderingen en ontwikkelingen in hun levensloop te bestuderen. Met grootschalige veldonderzoeken kun je belangwekkende veranderingen in de samenleving of in groepen in de samenleving inzichtelijk maken die anders onzichtbaar zouden blijven. Een retrospectieve vraag is een vraag waarbij direct naar een trend/ verandering over de tijd wordt gevraagd. Sinds het gebruikelijk is dat teams van onderzoekers samenwerken om grootschalige veldonderzoeken zodanig op te zetten dat de informatie tegelijkertijd in diverse landen wordt verzameld, is het ook mogelijk om zogenaamde comparatieve vraagstellingen te beantwoorden. Dit zijn vragen waarbij er naar een vergelijking tussen landen wordt gevraagd.

5.2.2 Doelstellingen: waarom wil je dit weten?Een belangrijk doel om een grootschalig veldonderzoek te houden is het vaststellen van de verdeling van verschijnselen in de maatschappij, van kenmerken van personen, van gedrag van die personen of opinies in de populatie. Dit is grootschalig beschrijvend onderzoek. Het kan ook gebruikt worden om te toetsen of verklaren. In dat geval worden verschillende kenmerken met elkaar in verband gebracht.

5.2.3 Conceptuele modellenHet status attainment-model is wanneer de mediërende factor ook nog een oorzaak heeft. ???

5.3 Onderzoeksontwerp: hoe?Er zijn 3 mogelijkheden voor het verzamelen van gegevens:

- Persoonlijk interviewo Interviewer komt bij iemand langso De interviewer en respondent kunnen elkaar direct zieno Face-to-face-interview

- Telefonisch interviewo Interviewer neemt telefonisch contact op

- Interview met zelfinvullijsto Geen aanwezigheid interviewer

Dit zijn de modes of data collection. Ze worden vaak in combinatie van elkaar gebruikt. Tegenwoordig wordt veel via de computer gedaan. Er zijn hier een paar belangrijke afkortingen die in dit verband worden gebruikt:

- CAIo Computer-assisted interviewing

- CAPIo Computer-assisted personal interviewing

- CATIo Computer-assisted Telephone interviewing

- CASI

o Computer-assisted self-administered interviewing- CAWI

o Computer-assisted web interviewingComputerondersteunend interviewen heeft een aantal voordelen ten opzichte van het werken met papieren vragenlijsten

- Snelheido Antwoorden zijn direct beschikbaar voor analyse

- Vermijden van fouteno Het kan zo worden ingesteld dat alleen relevante vragen op het beeldscherm

verschijnen. Onnodige vragen komen niet in beeld, dit heet routing- Uitvoeren van controles

o Kan zo worden ingericht dat er wordt nagegaan dat de respondent consequent is in het antwoord geven. Ook kunnen toevallige fouten voorkomen worden (leeftijd 339)

In een schriftelijke vragenlijst kunnen respondenten hun antwoorden nog overkijken, dus is het consequenter. Daarnaast is het goedkoper dan papier. Nadelen van digitale vragenlijsten:

- Alleen als de routing en controles goed zijn ingesteld, werkt het- Terugkijken naar vorige antwoorden is lastiger dan bij schriftelijke antwoorden

De keuze voor een modus wordt bepaald door drie factoren.- De organisatie van het veldwerk

o Aspecten die te maken hebben met het eigenlijke enquêteren. o Gaat om tijd, capaciteit en geld

- De kenmerken van de vragenlijsto Lengte vragenlijsteno Complexiteit vragenlijsto Complexiteit vrageno Gebruik van hulpmiddeleno Toonmateriaal = wat de onderzoeker de respondent moet laten zien

- Kwaliteit van de gegevenso Krijgen we met de modus wel de gegevens die we willen hebbeno Mensen die we willen onderzoek moeten bereikbaar zijn met de moduso Zijn ze hiertoe ook bereido Non-respons en item-non-respons

5.3.1 Het dataverzamelingsplanHet is belangrijk een lijst met begrippen te maken. Het is ook belangrijk dat je goed nadenkt over wat je wilt gaan meten voordat je de vragenlijst maakt. Meervoudige begrippen zijn complex en bestaan uit verschillende onderdelen. Bij het grootschalig veldonderzoek resulteert het operalionaliseren van een theoretisch begrip in het formuleren van een of meer enquêtevragen. Er wordt vaak gekozen voor schalen met parallelle operationalisaties. Als er de mogelijkheid toe is, moet je een al bestaand meetinstrument gebruiken, die dus al zijn betrouwbaarheid en validiteit heeft bewezen. Een schalenboek is een systematische opsomming van alle theoretische begrippen uit je vraagstelling en/of hypothesen plus alle andere relevante kenmerken met de daarbij behorende meetinstrumenten.

Richtlijnen voor de formulering van vragen of stellingen1. Zorg dat je taalgebruik aansluit bij het taalgebruik van de respondenten2. Houd de vragen zo kort en eenvoudig mogelijk3. Stel ondubbelzinnige interpreteerbare vragen4. Stel slechts een vraag per keer5. Formuleer de vraag zo neutraal mogelijk

6. Pas op met gevoelige onderwerpen: die moet je zorgvuldig inleiden7. Zorg ervoor dat de vragen relevant zijn voor de respondenten8. Vermijd vragen die refereren aan verchillende normen9. Vermijd vage vragen wanneer concrete vragen mogelijk zijn10. Vermijd (dubbele) ontkenningen in vragen en stellingen

Een foute vraag is een invalide vraag. Er zijn open, halfopen en gesloten vragen. Bij gesloten vragen staan de antwoordmogelijkheden in de vragenlijst opgenoemd. Bij meningsvragen wordt de Likert statements gebruikt. Dit zijn helemaal mee eens, mee eens, hangt er vanaf, niet mee eens, helemaal niet mee eens. Bij open vragen zijn er geen antwoordmogelijkheden in de vragenlijst opgenomen, omdat er te veel antwoorden zijn om op te noemen, of omdat je het antwoord niet kan voorspellen. Aan antwoordcategorieën worden ook eisen gesteld.

Richtlijnen voor de formulering van antwoordcategorieën1. Ze moeten duidelijk interpreteerbaar zijn2. Ze moeten aansluiten bij de vraag3. Ze moeten uitputtend zijn bevatten alle mogelijke antwoorden4. Ze moeten wederzijds uitsluitend zijn

Bij de bepaling van de antwoordmogelijkheden is er nog een aantal aspecten van belang.1. Het aantal antwoordcategorieën2. Wel of niet een middencategorie3. De restcategorieën zoals weet niet of geen mening4. De volgorde van de categorieën5. Het gebruik van toonmateriaal

VolgordeDe volgende stap is dat je de vragen in de gewenste volgorde zet. Het volgorde-effect is dat de interpretatie van de respondenten gedeeltelijk bepaald wordt door de vragen die daaraan vooraf zijn gegaan.

Richtlijnen voor de volgorde van de vragen1. Begin met gemakkelijke en aantrekkelijke vragen2. De vragen moeten logisch op elkaar volgen3. Ga van algemene naar concrete vragen4. Pas op voor referentiewisselingen wisselingen van het object of de persoon over wie de

vraag gaat5. Plaats vragen met dezelfde antwoordschalen achter of bij elkaar6. Plaats gevoelige en bedreigende onderwerpen niet vooraan in de vragenlijst, maar in het

tweede deel van de vragenlijst7. Eindig met gemakkelijke vragen waarop de respondent eenvoudige antwoorden kan geven

De routing of bewegwijzering van een vragenlijst stuurt de respondent door de vragenlijst. De routing kan lastig worden, dit maakt ook de vragenlijstconstructie lastiger. Bij elektronische vragenlijsten krijgen de respondenten een persoonlijke bewegwijzering, maar hierdoor kan het zijn dat een specifieke vraag maar een kleine respons hebben.

Instructies, toelichting en lay-outInstructies geven aan wat de respondent moet doen; toelichting geeft extra uitleg bij een bepaalde vraag. Dit is vooral belangrijk bij zelfinvullijsten. Een veel voorkomende vorm van instructie is het aangeven of een of meer antwoorden aangekruist moeten/kunnen worden. Een andere vorm is de instructie voor de routing: afhankelijk van het antwoord wordt de respondent naar een volgende

vraag verwezen. Vooral bij schriftelijke en webvragenlijsten is de lay-out belangrijk. Het moet de vragenlijst aantrekkelijk maken.

Richtlijnen voor instructies en toelichting1. Geef in de inleiding duidelijk aan wat je van de respondent verwacht2. Geef duidelijke invul-, en routing-instructies3. Plaats instructies en toelichting waar deze nodig zijn4. Een vraag eindigt met een vraagteken5. Maak instructies niet te lang

Richtlijnen voor de opmaak1. Maak de opmaak consistent en duidelijk2. Markeer belangrijke zaken, maar houd het eenvoudig3. Nummer de vragen alsook de antwoordmogelijkheden4. Geef de groepen van vragen die over eenzelfde onderwerp gaan duidelijk met een kleine

inleiding van het thema dat gaat komen5. Geef de invulvakjes duidelijk aan

Uittesten van de vragenlijstenJij moet de vragenlijst evalueren. Er worden hiervoor checklists gebruikt. Je kan de vragenlijst zelf invullen, de vragenlijst aan de hand van de checklist beoordelen, commentaar vragen van collega’s of het houden van proefinterviews. Het doel van de evaluatie van de vragenlijst is nagaan of, en zo ja, waar inconsistenties in de vragenlijst zitten, moeilijke woorden worden gebruikt, moeilijke vragen worden gesteld en andere hiervoor genoemde problemen zich voordoen.

1. Meet de vraag een aspect van de probleemstelling, of hangt de vraag daarmee samen? Nee schrap de vraag

2. Voor welke respondenten is deze vraag bedoeld? Aan welk deel van de steekproef wordt deze vraag gesteld? (werkt de routing)

3. Zullen respondenten de vraag begrijpen en ook zo interpreteren als de bedoeling is? nee schrap de vraag

4. Is de vraag gemakkelijk te beantwoorden? Nee schrap de vraag5. Zullen respondenten bereid zijn deze vraag te beantwoorden? Nee schrap de vraag

Het uittesten van de vragenlijst in de praktijk is belangrijk.

5.3.2 Het steekproefplanWelke eenheden ga je onderzoeken en hoe kun je eenheden selecteren voor een vragenlijstonderzoek?

Definitie en operationalisering van de populatieOp wie het onderzoek zich richt en waarover je uitspraken wilt doen (doel)populatieDe bereikbare populatie is de operationele populatie. Bevindingen van het onderzoek hebben alleen betrekking op deze groep.

Ontwerpen en trekken van een steekproefHet is gebruikelijk, maar niet noodzakelijk dat je een steekproef trekt. Het steekproefkader is dat steekproeven kunnen worden getrokken uit een administratie van de populatie. Voorafgaand aan een interview krijgen de respondenten een brief waarin het doel van het onderzoek wordt uitgelegd en waarom het belangrijk is dat zij meedoen. Hier wordt dus om toestemming gevraagd voor de gegevens. Ook kan je onderzoeken zonder steekproef. Onderdekking is het feit dat sommige mensen die van belang zijn niet in het steekproefkader voorkomen. Overdekking is dat er mensen die niet van belang zijn in het steekproefkader voorkomen.

Een steekproef is geslaagd als de voor het onderzoek relevante kenmerken van de populatie zo goed mogelijk worden weerspiegeld. Als onderzoeker trek je vaak niet zelf de steekproef, om gegevens gescheiden te houden. Als de selectie van eenheden uit de populatie op toeval berust, heb je grote kans dat de verdelingen van de variabelen in de steekproef een goede afspiegeling vormen van die in de doelpopulatie. Het voordeel van kanssteekproeven is dat een statistische uitspraak kan worden gedaan over de nauwkeurigheid van de resultaten.

Enkelvoudig aselecte steekproefDeze selectie komt tot stand door de steekproefeenheden op volstrekt willekeurige wijze uit alle eenheden van de populatie te trekken. Deze vorm van steekproeftrekking is eenvoudig te realiseren in overzichtelijke situaties.

Gestratificeerde steekproefJe kunt de populatie indelen in belangrijke categorieën of strata. Je kunt uit ieder stratum een steekproef trekken, evenredig met de grootte van dat stratum in de populatie. Het gevolg is dat die steekproef wat betreft landsdelen representatief is voor de populatie.

ClustersteekproefEr zijn bestaand groeperingen in de maatschappij waarvan de leden onderling contact houden. In een clustersteekproef kies je zulke groepen als primaire eenheden en je ondervraagt alle leden van het cluster. Als het om individuen gaat, is het resultaat van een clustersteekproef minder nauwkeurig dan van een enkelvoudig aselecte.

Getrapte steekproefAls binnen de clusters niet iedereen ondervraagd wordt, maar binnen de clusters een steekproef wordt getrokken, noemen we dat een getrapte steekproef. Er zijn ook niet-kanssteekproeven of monsters.

QuotasteekproefInterviewers zijn verspreid over het land dus komen ook de respondenten van heel het land. Interviewers mogen de respondenten zelf kiezen, zolang ze maar binnen een quota zitten, vaak combinaties van geslacht, leeftijd en welstandscategorieën. Lijkt op de gestratificeerde steekproef, maar een belangrijk verschil: hier kiezen de interviewers, dus niet bekend hoe groot de kans is om gekozen te worden.

SneeuwbalsteekproefSoms is er geen goed onderzoekskader. Dan begin je bij een persoon en die leidt je tot meer personen. Dit is dus niet een kanssteekproef, omdat de kans dat je in de steekproef terecht komt, af hangt van wie de eerste contacten zijn.

GemakssteekproefHet komt soms voor dat aankomende onderzoekers voor een gedeelte van hun opleiding een onderzoek doen waarvoor de middelen en de tijd ontbreken om een kanssteekproef samen te stellen. Dit komt veel voor bij explorerend onderzoek. Er wordt hier gemakshalve aan mensen die je zelf kent gevraagd mee te doen aan het onderzoek. De populatievaliditeit van zo’n onderzoek staat per direct ter discussie.

De omvang van de steekproefNauwkeurigheid slaat op de grenzen waarin onbekende populatiekenmerken liggen: het zogenaamde betrouwbaarheidsinterval. Hoe groter de gewenste nauwkeurigheid, hoe groter de benodigde steekproefomvang. Voor het onderzoek relevante deelpopulaties, waarover men nauwkeurig uitspraken wilt doen, moeten ook in voldoende omvang in de steekproef aanwezig zijn.

Oversampsling is het ophogen van steekproef verhogen voor het te verwachten non-responsepercentage. Dit kan ook voor verschillende groepen worden gedaan. De grote van de steekproef heeft ook praktische redenen, zoals geld en mankracht. Je moet de responsratio publiceren. Dit is het aantal respondenten dat uiteindelijk aan het onderzoek heeft meegewerkt, gedeeld door het aantal personen in de oorspronkelijke steekproef maal 100. Kaderfouten worden eerst uit de steekproef verwijderd. Wanneer bepaalde categorieën onder- of oververtegenwoordigd zijn in de steekproef, kunnen we de gegevens wegen. Normaliter telt elke respondent voor een. Men kan eenheden die behoren to categorieën die ondervertegenwoordigd zijn een groter gewicht geven. Het belangrijkste bezwaar hiertegen is dat men niet weet of degenen die niet zijn bereikt anders zouden hebben geantwoord dan degenen die wel aan het onderzoek hebben meegedaan. De bereikbaarheid en de bereidbaarheid van respondenten bepalen in belangrijke mate de hoogte van de uiteindelijke respons. Redenen non-respons

- Niet bereikbaar door levensstijl - Niet genoeg pogingen tot bereiken respondenten- Pogingen tot bereiken verkeerde momenten- Gebrek belangstelling onderzoek- Ziekte, slechthorendheid, slechtziendheid

Aan de non-respondenten wordt vaak 1 vraag gesteld, waarvan het antwoord wordt vergeleken met de wel-respondenten. Als de bereidheid van mensen om mee te doen aan een onderzoek op toeval zou berusten, dan betekent de non-respons alleen dat de nauwkeurigheid van de resultaten afneemt. Als de non-respons niet willekeurig verdeeld is, over alle respondenten, kan er door non-respons een vertekening ontstaan. Er is ook item-non-respons. Deze is bij zelfinvullijsten het grootst. Responsvertekening is de vertekening die je krijgt doordat de respondenten een verkeerd antwoord hebben ingevuld. Een andere vorm hiervan is responsset. Dit is wanneer de vragenlijst vragen of items bevat die allemaal achter elkaar in dezelfde richting zijn geformuleerd. Bij panelonderzoek zijn er drie soorten non-respons

- Initiële non-responsNon-respons bij werving van het onderzoek

- Incidentele non-responsNon-respons na een golf of ondervraging

- Uitval / panelmortaliteitNon-respons door onbereikbaarheid bij tweede golf

Als het om niet-bedreigende onderwerpen gaat, is het persoonlijk interview de beste modus.

Mogelijkheden en beperkingen van zelfinvullijsten op het internetStudenten gebruiken vooral deze methode. Hij is goedkoop en kan veel gebruik maken van routing, mits dit goed getest is. Toch is het geen optimale keuze voor kwalitatief onderzoek, omdat er geen mogelijkheid tot doorvragen is. Ook zijn er steeds meer mensen te bereiken via het internet, maar kunnen ze ook midden in de vragenlijst stoppen.

5.3.3 Wanneer wil je data verzamelen?Je moet je realiseren dat:

- De respons hoog en niet-selectief moet zijn- De kwaliteit van de antwoorden goed moet zijn- De respondent geen hekel aan het interview moet krijgen- De interne administratie van het veldwerk in orde moet zijn

Houdt met het kiezen van de beste periode om onderzoek te doen rekening met:- Verbinding onderwerp en planning- Beschikbaarheid steekproef

Toelichting op de communicatiestrategie- Aanschrijfbrief

o Waarom interessant om mee te doen?o Hoe aan het adres gekomeno Als nodig retourenvelop met invullijst of informatie over belleno Aangeven hoe wordt omgegaan met informed consent

- Herinneringsstrategieo Geen interviewso Na bepaalde datum geen reactie herinneringsbrief

- Rappelstrategieo Brief met herhaling belangrijkheid interview

- Benaderingsstrategieo Gericht op interviewerso Op basis van achtergrondkenmerken juiste tijden bepalen

Interviewers moeten goede trainingen en instructies krijgen. Mixed mode survey: verschillende methodes gebruiken omdat ze beter aansluiten bij mensen. Dit is duur en kan het moduseffect opleveren: mensen antwoorden anders door de manier van bevraging.

5.3.4 Waar wil je die data verzamelen?Al beantwoord wanneer de onderzoeker zijn centrale onderzoeksvragen heeft uitgeschreven en de onderzoekspopulatie kent.

5.3.5 Het data-analyseplan

Causale uitspraken op basis van grootschalig veldonderzoekHet is lastig om causale uitspraken te doen, omdat allen op een moment wordt vastgesteld. Er is dus geen duidelijk tijdsverband. Je kan wel aan twee andere voorwaarden voldoen, namelijk de statistische relatie tussen de twee variabelen en je kunt andere variabelen hierbij uitsluiten.

Bivariate analysesIn een bivariate analyse zijn er twee variabelen. Je meet de relatie tussen de onafhankelijke (X-)variabele en de afhankelijke (Y-)variabele. Deze zet je in een tabel. Hierna splits je de steekproef uit naar een derde variabele, die levert dan de trivariate relaties op. De twee tabellen die hieruit komen, heten de partiële tabellen. Voorbeeld:Als je een relatie hebt zoals deze: Opleiding ouders + Inkomen kinderenGa je hier een tabel van maken door de X in de kolom te zetten en de Y in de rij. Er wordt kolomsgewijs gepercenteerd. De kolomtotalen komen dus op 100 procent uit. De tabel komt er dan als volgt uit te zien

Opleiding oudersvmbo Havo en hoger totaal

Inkomen kind Maximaal €2000

10447,5%

5328,0%

15738,5%

Meer dan €2500

11552,5%

13672,0%

25161,5%

Totaal 219100%

189100%

Van bivariate naar trivaraite analyses: het volledige interpretatiemodelHier komt een mediërende factor in het spel: een factor die het verband moet verklaren. Het is ook wel de Z-variabele. Het verband wordt dan: opleiding ouders + opleiding kinderen + inkomen kinderen.

Je gaat nu testen of de twee schakels opgaan in tabellen. De tabellen worden dan:Opleiding ouders

Opleiding kind vmbo Havo en hoger totaalVmbo 138

63,0%2010,6%

15838,7%

Havo en hoger 8137%

16989,4%

25061,3%

Totaal 219100%

189100%

408100%

Opleiding kindInkomen kind Vmbo Havo en hoger totaal

Maximaal €2000 9358,9%

6425,6%

15738,5%

Maximaal €2500 6541,1%

18674,4%

25161,5%

Totaal 158100%

250100%

408100%

Je kunt hier dus zien dat de beide verklaringen op gaan. Kinderen waarvan de ouders een hoge opleiding hebben, hebben zelf ook vaker een hoge opleiding. Wanneer kinderen een hoge opleiding hebben, hebben ze ook een hoger inkomen. Om te kijken of het inkomen van het kind alles verklaard gaan we een nieuwe tabel maken, waarbij de opleiding van het kind ‘vast’ staat. (moet eigenlijk met beide opleidingsniveaus)Opleiding kind: VMBO

Opleiding ouders

vmbo Havo of hoger TotaalInkomen kind Maximaal €2000 81

58,7%1260,0%

9358,9%

Meer dan €2500 5741,3%

840,0%

6541,1%

totaal 138100%

20100%

158100%

De rand getallen weet je al door de andere tabellen. De middelste getallen kun je daarna uitrekenen. Als de percentageverschillen gereduceerd worden tot 0, dan is er een verklaring. Anders is er een partiële verklaring.

Trivariate analyses: het gedeeltelijke interpretatiemodelHet kan ook zijn dat bij de laatste stap nog wel een groot verschil was. Dan ziet het er zo uit:Opleiding respondent - ervaren dreiging van minderheden + anti-moslimisme

Er is dus vanaf de X nog steeds een directe relatie naar Y.

Triviate analyses: interactiemodellenAls bepaalde conceptuele modellen alleen op een bepaalde onderzoeksgroep werkt heet dit interactie of moderatie. Een voorbeeld van zo’n relatie is:Je gaat hier anders te werk dan bij de andere modellen. Je gaat het verschil tussen de geslachten in tabellen zetten en het verschil bekijken.

Beroep respondent

Geslacht

Inkomen respondent

6 Experiment

6.2 Probleemstelling: Wat en waarom?

6.2.1 Vraagstelling: wat wil je precies weten?Bij een experiment is het niet genoeg om te weten dát er een correlatie is, je moet uitvinden of deze ook echt causaal is. Een counfound of counfounding factor is een stoorzender. Hij verstoord de onderzoeksresultaten namelijk. Wanneer je geen experiment doet, sta je machteloos tegen confounding. Wat doe je dus bij een experiment? Je veronderstelt van tevoren een causale relatie tussen twee factoren, waarvan je de ene de onafhankelijke variabele kunt noemen en de andere de afhankelijke variabele. Vervolgens manipuleer je de onafhankelijke variabele, je brengt er eigenhandig verandering in aan. Ten slotte onderzoek je of de verandering in de onafhankelijke variabele leidt tot een verandering in de afhankelijke variabele. Er is een causale relatie wanneer:

- Er moet sprake zijn van samenhang- Een eventuele verandering in de afhankelijke variabele moet plaatsvinden na een

verandering in de onafhankelijke variabele- Afwezigheid van een schijnrelatie, veroorzaakt door een confound

6.2.2 Doelstelling: Waarom wil je dit weten?Twee redenen waarom je een causale relatie wilt onderzoeken met behulp van een experiment:

1. Je kunt praktijkgerichte beweegredenen hebben- Hoe je de wereld kunt helpen veranderen2. Je kunt fundamentele beweegredenen hebben- Hoe de wereld in elkaar zit

6.2.3 Theoretisch raamwerkExperimenteel onderzoek is altijd toetsend. Je manipuleert meestal maar een of een beperkt aantal onafhankelijke variabelen. Normaal gesproken onderzoek je maar een kleine causale relatie tussen twee variabelen. Maar het is ook mogelijk om een interactie te onderzoeken. Je kunt de betreffende moderator namelijk manipuleren, maar ook meten. Wanneer je mensen bevraagt over de moderatie, verliest het onderzoek zijn experimentele karakter en is er meer kans op confounds. Bij het onderzoeken van een interactie, vraag je jezelf af bij wie het effect van de onafhankelijke variabele op de afhankelijke variabele optreedt. Of je vraagt jezelf af waarom dit effect optreedt. Je kunt dus ook mediatie meten met een experiment, want X leidt dan tot Z dat leidt tot Y. In de praktijk wordt de onafhankelijke variabele dan gemanipuleerd, terwijl de mediator en de afhankelijke variabele gemeten worden. Moderatie is interessant voor zowel praktijkgericht als fundamenteel onderzoek, terwijl mediatie vooral interessant is voor fundamenteel onderzoek.

6.3 Onderzoeksontwerp: hoe?

6.3.1 Ontwerpkeuzes makenDe letter X wordt hier gebruikt om manipulatie of interventie aan te geven.

Het eerste experimentele ontwerp is het pre-experimenteel ontwerp 1Tijdstip t1 t2Experimentele groep O1 X O2

O staat voor observatie, t staat meting van de afhankelijke variabele.

Dit onderzoek wordt pre-experimenteel genoemd, omdat er maar een vergelijkingsbasis is; namelijk de voor- en nameting. Voordeel van dit ontwerp: je kan een bestaande groep gebruiken. Nadeel: er kan tussen de voor- en nameting een extern voorval optreden.

Het tweede experimentele ontwerp is het pre-experimenteel ontwerp 2Tijdstip t1 t2Experimentele groep X O1Controlegroep O2

Bij dit ontwerp worden twee bestaande groepen gebruikt. De streep tussen de twee groepen geeft aan dat deze niet gelijk zijn op basis van achtergrondkenmerken. Deze groepen kunnen dus van elkaar verschillen, wat confounds kunnen vormen. Een ander nadeel van dit ontwerp is dat de controlegroep geen experimentele stimulus ondergaat. Wanneer dit wel gebeurt was, had je de alternatieve verklaring uitgesloten dat het verschil op t2 uitsluitend wordt veroorzaakt doordat de experimentele groep een stimulans krijgt toegediend en de controlegroep niet. Het uitsluiten van alternatieve verklaringen kun je bereiken door een aanpassing te maken in het ontwerp zelf.

Het derde experimentele ontwerp is het quasi-experimenteel ontwerpTijdstip t1 t2Experimentele groep O1 X O2Controlegroep O3 O4

Dit ontwerp stelt je in staat om verschillen over de tijd waar te nemen. Ook is het mogelijk om te onderzoeken of het verschil tussen beide groepen op tijdstip 1 anders is dan het verschil op tijdstip 2. Dit wordt een interactie-effect of moderatie genoemd. Je zoekt naar vergelijkbaarheid in achtergrondkenmerken bij de twee groepen. Je maakt gebruik van clusterrandomisatie. Het voordeel van deze werkwijze is dat je meer controle uitoefent en alternatieve verklaringen voor gevonden verschillen op tijdstip 2 beter kunt uitsluiten.

Het vierde experimentele ontwerp is het zuiver experimenteel ontwerp 1Tijdstip t1 t2Experimentele groep R X O1Controle groep R O2

R = randomisatie. Je randomiseert de groepen: op basis van toeval wijs je mensen toe aan een groep. Aan de afwezigheid van de streep kun je zien dat de groepen ongeveer gelijk zijn op t1. Het voordeel van dit zuivere ontwerp is dat de nameting niet beïnvloed kan worden door een voormeting. Door een voormeting kunnen de proefpersonen namelijk het doel van het onderzoek in de gaten krijgen. Aan de andere kant is het ook een andeel dat je niet weet wat de scores op t1 zijn. je kunt dus niet controleren of de willekeurige toewijzing van deelnemers aan condities heeft geleid tot vergelijkbare voormetingen.

Het vijfde experimentele ontwerp is het zuiver experimenteel ontwerp 2Tijdstip t1 t2Experimentele groep R O1 X O2Controlegroep R O3 O4

Dit wordt ook wel het klassieke experimentele ontwerp genoemd. Mochten er na randomisatie toch kleine verschillen zijn op de voormeting, dan kun je hiervoor statistisch corrigeren. Hierdoor worden alternatieve verklaringen uitgesloten.

Het zesde experimentele ontwerp is het zuiver experimenteel ontwerp 3Tijdstip t1 t2Experimentele groep O1 X O2Controle groep O3 O4

Experimentele groep X O5Controle groep O6

Dit wordt ook wel het Solomon-viergroepenontwerp genoemd. Je kunt hier kijken of de voormeting invloed heeft op de nameting. Wanneer dit namelijk directe invloed heeft, verschillen O2 en O5 van elkaar. Er kan ook een interactie zijn tussen de voormeting en de experimentele manipulatie. Wanneer dit zo is, laat statistische analyse zien dat het verschil tussen O2 en O5 verschilt van het verschil tussen O4 en O6. Dit ontwerp levert meer informatie op dan de andere zuivere experimenten, maar het is ook duurder en kost meer tijd.

Je manipuleert bij een experiment de oorzaak om te kijken wat het gevolg is. Het toeval bepaald welke deelnemers de experimentele stimulus ondergaan en welke deelnemers de placebo. Je maakt bij deze werkwijze gebruik van het zogenaamde tussen-proefpersonenontwerp. Een binnen-proefpersonenontwerp gebruik je wanneer je meerdere nametingen doet, en dus naar de gevolgen op korte en lange termijn gaat kijken.

6.3.2 Alternatieve verklaringen vermijden- Testeffect

o Bij zowel voor- en nametingo Wanneer de scores op een meting worden beïnvloed doordat deelnemers op

dezelfde wijze al eerder zijn gemeteno Solomon-viergroepenontwerp kan dit meteno Uitsluiting: geen voormeting, hierdoor kun je geen binnen-proefpersonenontwerp

gebruiken- Instrumentatie

o Bij zowel voor- en nametingo Wanneer bij die metingen verschillende dataverzamelingsmethoden wordt gebruikt

- Verspreidingo Ook wel lekkage van experimentele stimulus genoemdo Deelnemers in de controlegroep ontvangen via deelnemers experimentele groep

informatie over de experimentele cycluso Controlegroep wordt minder onderscheidbaar van de experimentele groep

contaminatie / besmetting- Selectie

o Wanneer groepen verschillen op achtergrondkenmerken en deze achtergrondkenmerken tevens samenhangen met de afhankelijke variabele

o Vooral bij pre- en quasi-experimentele ontwerpeno Confouding

- Proefleidereffecto Dubbelblind onderzoek: zowel deelnemers als proefleider hebben geen idee waar

het onderzoek over gaato Geen dubbelblind onderzoek: proefleidereffect

- Tussentijds extern voorvalo Grotere tijd tussen t1 en t2 = meer kans hieropo Controlegroep geeft hier inzicht op

- Rijpingo Ookwel groei genoemdo Wanneer de scores op de nameting veranderen doordat deelnemers ouder, wijzer,

milder of meer ervaren wordeno Korte periode tussen t1 en t2 verkleint dit effecto Toevoeging controlegroep geeft iets meer grip hierop

- Uitvalo Met name bij onderzoek waarbij langetermijneffecten centraal staano Voordelen randomisatie verdwijnen wanneer de uitvallers een specifieke groep

worden wat betreft achtergrondkenmerkeno Groepen zijn niet meer vergelijkbaar, dus effect manipulatie niet meer te

onderscheiden van effect selectieve uitval (confounding)

6.3.3 Toewijzing deelnemers aan condities- Randomiseren

o Op basis van toeval deelnemers toewijzen aan de experimentele conditieso Bij grote steekproeven zullen de achtergrondkenmerken dan ongeveer gelijk

verdeeld zijn- Matching

o Precisiematching Voor elke deelnemer in je steekproef een gelijke deelnemer op relevante

achtergrondkenmerken Benodigde aantal deelnemers afstemmen op aantal groepen in het

experimenteel ontwerp ‘paarsgewijs matchen’ bij twee groepen ‘individueel matchen’ bij meerdere groepen Probleem: hoog aantal deelnemers nodig om tot paren te komen

o Globale matching Streven naar vergelijkbare frequentieverdelingen van een aantal relevante

achtergrondkenmerken De experimentele groep en de controlegroep zijn slechts per afzonderlijk

kenmerk gelijk, niet per combinatie van de kenmerken Grovere wijze van controleren voor selectie-effecten dan precisiematching

- Groepsgewijs matcheno Combinatie randomisatie en matching

- Homogeniseringo Experiment beperken tot een kenmerk (slecht voor populatievalditeit)

6.3.4 Wat voor data wil je verzamelen?In het experiment wordt vaak gebruik gemaakt van een vragenlijst. Vaak is dit een zelfinvullijst. Een ander optie is het observeren van gedrag. Je hebt dan wel last van reactiviteit. Mensen gaan zich anders gedragen omdat ze weten dat ze geobserveerd worden. Hiernaast kun je ook gebruikmaken van metingen met gestandaardiseerde meetinstrumenten. Net zoals bij het grootschalig veldonderzoek geldt bij het experiment dat het belangrijk is om eerst op zoek te gaan naar bestaande methoden, deze hebben de voorkeur. Een manipulatiecheck is het meenemen van je onafhankelijke, gemanipuleerde variabele in je dataverzameling. Je controleert zo of je de manipulatie succesvol hebt uitgevoerd. Dit is niet altijd nodig, denk aan medische onderzoeken met een placebomedicijn. Je moet ook altijd aan de ethiek van je onderzoek blijven denken. Bij de opzet van je onderzoek moet je altijd rekening houden met de ethiek. Je hebt zowel toestemming nodig van een ethische commissie als van je deelnemers (informed consent). Deze kun je bij mensen die het zelf niet kunnen geven op twee manieren krijgen:

- ActiefJe vraagt ouders/verzorgers nadrukkelijk toestemming te geven voor deelname van hun kind door bv. een verklaring te tekenen

- PassiefJe vraagt ouders/verzorgers via een geïnformeerde brief voor toestemming. Je geeft ook aan wanneer het kind niet mee mag doen. Geen reactie = toestemming.

Een ethische commissie kiest of passieve toestemming volstaat.

6.3.5 Bij wie wil je de data verzamelen?In veel experimentele studies wordt gebruik gemaakt van een convenience sample van deelnemers die makkelijk te vinden zijn of beschikbaar zijn. Dit kan bijvoorbeeld doordat ze zijn aangemeld voor het onderzoek. Dit maakt het onderzoek wel lastig te generaliseren. Voor een fundamenteel wetenschappelijk onderzoek is het niet cruciaal om een aselecte steekproef te hebben. Wat wel cruciaal is, is dat je de deelnemers op een willekeurige wijze verdeelt over de experimentele conditie en de controleconditie. Voor een praktijkgericht wetenschappelijk onderzoek is het wel belangrijk dat de steekproef een representatieve weerspiegeling is van de doelpopulatie. Anders kan je geen goede aanbeveling geven voor een interventie. Je moet, om de interne validiteit groot te houden, een effect dat aanwezig is, ook daadwerkelijk kunnen aantonen. Je moet dus relatief homogene groepen creëren. Dit leidt wel tot een negatieve invloed op de populatievaliditeit. Je moet ook je steekproefomvang berekenen. Je kan dit doen door grove vuistregels te hanteren die iets zeggen over het minimale aantal deelnemers per conditie. Het is mooier om via een statistische berekening te bepalen hoeveel deelnemers je nodig hebt.

6.3.6 Wanneer wil je de data verzamelen?Bij een experiment draait het om de effecten van een interventie of manipulatie. Het is belangrijk om over zowel de manipulatie als de effecten hiervan na te denken. De effecten zijn te meten op korte en op lange termijn. Je kan beargumenteren dat de langetermijneffecten belangrijker zijn, maar:Wanneer er geen kortetermijneffect is, is het onwaarschijnlijk dat er een langetermijneffect zal zijn. Andersom geldt dit niet. Langetermijneffecten zijn vaak relevanter dan kortetermijneffecten. Daarnaast komen ze dichter bij hetgene wat we eigenlijk willen weten. Je moet ook nadenken over de duur en intensiteit van de manipulatie.

6.3.7 Waar wil je de data verzamelen?Fundamentele onderzoeken worden vaak gehouden in een laboratorium. Dit zijn laboratoriumexperimenten. Er wordt voor een lab gekozen, omdat daarin allerlei omgevingsinvloeden onder controle kunnen worden gehouden. Daarnaast zijn er apparatuur nodig die alleen in het lab te vinden zijn. Een nadeel van een experiment in een laboratorium is dat de ecologische validiteit in het geding kan komen. Dit is voor praktijkgericht wetenschappelijk onderzoek een groter probleem dan voor fundamenteel wetenschappelijk onderzoek. Deze vindt daarom vaker plaats in het veld. Dit zijn de veldexperimenten. Dit is goed, omdat de interventie ook in de praktijk zal moeten werken. Een nadeel hiervan is dat er veel moet worden gewerkt met bestaande groepen. Ook heb je minder controle over de omstandigheden. De interne validiteit is daarom minder groot dan bij een labexperiment. Er zijn ook zogenaamde ‘online’ experimenten. De toenemende populariteit van dit type experimenten is te verklaren vanuit het feit dat het doorgaans een goedkope manier is om zonder al te veel moeite onder een hele grote groep mensen onderzoek te doen. Het biedt veel voordelen voor de onderzoeker als deelnemer, maar er zijn ook veel nadelen. Je hebt weinig controle over de omstandigheden waarin de deelnemer meedoet aan het onderzoek. De deelnemer zou zelfs kunnen liegen over de eigen identiteit, waar de onderzoeker dan helemaal niets vanaf weet. De kans dat de deelnemer tijdens het experiment afhaakt is ook groter. Ook is er maar een beperkte controle over de samenstelling van de experimentele en de controlegroepen. Hierdoor is de interne validiteit van dit type experimenten klein.

6.3.8 Hoe wil je de data analyseren?Bij de data-analyse onderzoek je de derde voorwaarde voor causaliteit. Je bepaalt of er sprake is van samenhang tussen de onafhankelijke en afhankelijke variabele door na te gaan of de score op de afhankelijke variabele in de experimentele conditie verschilt van die in de controleconditie. De analyse die nodig is in een experimenteel ontwerp, bestaat meestal uit het onderling vergelijken van de gemiddelde scores in beide condities. Wanneer het inhoudelijk niet zinvol is om gemiddelden te berekenen, is het vaak mogelijk om groepen te vergelijken op een percentage. Vaak worden dergelijk analyses uitgevoerd met behulp van kruistabellen of logistische regressie. Zoals al eerder gezegd is het bij sommige onderzoeken belangrijk om een manipulatiecheck te doen. Dit wordt vaak gedaan door een zelfrapportage bij de deelnemers. Er wordt dan een vragenlijst voorgelegd om de onafhankelijke variabele te meten. Naast analyses om je onderzoeksvraag te beantwoorden, is het ook belangrijk om analyses op te nemen om te kijken of je groepen vergelijkbaar zijn. Dit is vooral belangrijk bij een pre- en quasi-experimenteel ontwerp. Dit doe je vaak op twee soorten variabelen. Wanneer je hebt gekozen voor een experimenteel ontwerp met een voormeting, is het allereerst belangrijk dat je laat zien dat de groepen voorafgaand aan de manipulatie gemiddeld genomen dezelfde scores hebben op de afhankelijke variabele. De uitgangssituatie moet dus voor de groepen gelijk zijn. Ook moeten ze gelijk zijn op eigenschappen die invloed kunnen hebben op de afhankelijke variabele. Er is sprake van confounding wanneer de groepen op kenmerken van elkaar verschillen en deze kenmerken van invloed zijn op de afhankelijke variabele.

6.4 Hoe wil je rapporteren?Bij de rapportage van de onderzoeksresultaten is het belangrijk dat je alle analysestappen nauwkeurig beschrijft, zodat het onderzoek controleerbaar en herhaalbaar is.

7 Etnografisch veldonderzoek

7.2 Probleemstelling: wat en waarom?Etnografisch onderzoek wordt gebruikt om sociaal gedrag te bestuderen en de vraag te beantwoorden hoe mensen betekenis geven aan gedag. Daarnaast wordt gekeken hoe de betekenis van gedrag wordt beïnvloed door culturele regels, die veelal ongeschreven zijn en vrijwel altijd anders kunnen worden geïnterpreteerd in verschillende contexten. Etnografisch onderzoek vindt plaat door middel van veldwerk in natuurlijke situaties; dus niet in door de onderzoeker gecreëerde situaties. Participerende observatie is een kenmerkende onderzoekstechniek van etnografisch onderzoek.

7.2.1 Vraagstelling: wat wil je precies weten?Etnografisch veldonderzoek is geschikt voor:

- Explorerend onderzoeko Met als doel inzicht te verwerven in groepen of verschijnselen waarvan weinig tot

niets bekend iso Met als doel inzicht te krijgen in groepen of samenlevingen die moeilijk toegankelijk

zijn- Gedetailleerde beschrijvingen van sociale relaties, machtsverhoudingen en culturele

betekenissen binnen onderzoeksgroepeno Het perspectief van degenen die onderzocht worden heet het emic-perspectiefo Het perspectief van de onderzoeker is het etic-perspectiefo Het etic-perspectief bestaat uit een vertaling van termen, concepten en daaraan

verbonden betekenissen zoals door informanten onder woord gebracht

- Verklaren van verschijnselen door het verbinden van empirische inzichten in een bepaalde situatie met inzichten in andere, maar vergelijkbare situaties.

o Inzichten verbinden met structurele of culturele factoren die de lokale situatie overstijgen

- Voorbereiden en evalueren van beleido In kaart brengen van de percepties en problemen van de groepen die centraal staan

in het beleid

7.2.2 Doelstelling: waarom wil je dit weten?De doelstelling van de etnografische methode van onderzoek is gekoppeld aan de verschillende, mogelijke vraagstellingen. Het doel is in alle gevallen om de sociale relaties en culturele betekenissen van anderen beter te begrijpen.

7.2.3 Theoretisch raamwerkEtnografische onderzoekers streven naar een begrip van anderen van binnenuit. Ze gaan op zoek naar achtergronden van de betekenissen die mensen zelf geven aan hun gedrag, waarbij gebruik wordt gemaakt van bestaande theorieën. Deze helpen om de perspectieven en praktijken van informanten in een breder kader te plaatsen. Anders dan bij empirisch-analytisch onderzoek start je dus niet met deductie. Hier begin je met inductie. Foreshadowed problems of sesitizing concepts zijn begrippen die onderzoekers attenderen op relevante thema’s.

7.3 Onderzoeksontwerp: hoe?Etnografisch onderzoek wordt gekenmerkt door een grote mate van openheid en flexibiliteit. Er moet zo veel mogelijk worden gepland en waar dat niet kan moeten de redenen en de mogelijke alternatieven duidelijk zijn. De foreshadowed problems geven aan welke richting je onderzoek opgaat. Kenmerkend voor het onderzoeksontwerp van een etnografische studie is de afwisseling van dataverzameling en data-analyse. Al direct nadat de eerste gegevens zijn verzameld, vinden er analyses plaats. Naar het eind van het onderzoek toe neemt de dataverzameling af ten gunste van de data-analyse. De analyse in het etnografisch onderzoek is een cyclisch proces dat ook wel een iteratief proces wordt genoemd. Je doorloopt de empirische cyclus dus onafgebroken door, totdat je geen nieuwe inzichten meer krijgt. Je begint met oriënterende vragen, maar deze worden naar mate het onderzoek verder gaat steeds specifieker.

7.3.1 Wat voor data wil je verzamelen?De opbouw van etnografisch veldonderzoek van algemeen in het begin naar specifiek tegen het einde heeft uiteraard ook consequenties voor de technieken die je gebruikt om gegevens te verzamelen. In het beginstadium van een onderzoek is er altijd op gericht om een overzicht te krijgen van de onderzochte situatie, dit is volgens Spradley de grand tour langs de belangrijke culturele betekenissen van een sociale situatie bij een specifieke groep mensen. Hierna volgt de mini tour waarbij je op een beperkt aantal aspecten van het veld inzoomt die nodig zijn om de onderzoeksvragen te beantwoorden. Bij participerende observatie verkrijg je via intensieve en gevarieerde contacten met participanten inzicht in de wijze waarop zij hun gemeenschap vormen. Het schrijven van gedetailleerde veldnotities is hierbij een belangrijke bezigheid, omdat je uiteindelijk de resultaten van je participerende observatie op deze notities zult baseren. Als onderzoeker ben je je eigen meetinstrument. Door te expliciteren wat je allemaal vraagt en ziet tijdens participerende observatie, stel je jezelf open en maak je het onderzoeksproces transparant. Bij het maken van veldnotities neem je het volgende in acht:

- Het taalgebruik van participanten moet herkenbaar zijn (geef aan welke woorden en begrippen zijn ontleend aan de bestuderende cultuur en welke van jezelf)

- Zinnen of gesprekken verbatim (woord voor woord) te noteren- Beschrijvingen moeten zo concreet mogelijk zijn

Je moet scratch notes of jottings maken, korte notities, die je later op de dag uitwerkt tot veldaantekeningen. Je maakt ook memo’s. Dit zijn korte notities over het verloop van je onderzoek. Je bent gelijktijdig een insider en een outsider. Je moet als onderzoeker om de medewerking vragen van de personen die je tijdens je onderzoek ontmoet en bestudeert. Je moet hierbij eerlijk zijn over je bedoelingen. Een andere belangrijke methode is het afnemen van interviews. Hier valt ook de ‘small talk’, informele praat met informanten, onder. Soms kan hier namelijk veel informatie uit voortkomen. Een interview is een gesprek waarin een iemand de vragen stelt over gedragingen, opvattingen, houdingen en ervaringen ten aanzien van bepaalde sociale verschijnselen, aan een of meer anderen die de vragen beantwoorden. Het is belangrijk om naar het emic-perspectief te zoeken van de informant. Mensen die veel informatie geven zijn sleutelinformanten. Je moet toch niet te veel naar een sleutelinformant luisteren, want dit geeft kans op verkleuring van het onderzoek. Een vaak gebruikte vorm van een groepsinterview is de focusgroep, waarbij je als onderzoeker het onderwerp van het interview duidelijk afbakent en de interactie tussen de deelnemers interessant is voor jouw onderzoek. Formeel interview informanten zijn volledig op de hoogte dat zij worden geïnterviewd. Informeel interview niet altijd op de hoogte van het feit dat het gesprek deze functie heeftInterviewers gebruiken vaak een topiclijst. Hierop staan enkele hoofdvragen, afgewisseld met thema’s en punten om door te vragen. Je wordt dus gekenmerkt door een open en flexibele houding. Topiclijsten kunnen gedurende de empirische cyclus worden bijgesteld. Het belangrijkste criterium om verschillende typen interviews van elkaar te onderscheiden, is de mate van standaardisatie of structurering. Hoe meer standaardisering, hoe meer je als interviewer de richting bepaalt. In de eerste instantie zal je meer open staan en de informant laten vertellen wat hij/zij belangrijk vindt, maar in de tweede instantie zal je meer willen sturen.Ook kun je nog gebruik maken van het verzamelen en analyseren van documenten. Een van de sterke kanten van etnografisch onderzoek is het op elkaar betrekken van gegevens die je op verschillende manieren hebt verzameld, met andere woorden de triangulatie van databronnen. Het is van belang dat je de lokale taal/dialect leert spreken.

7.3.2 Betrouwbaarheid en validiteitDe kwaliteit van etnografisch onderzoek kun je expliciet waarborgen met behulp van de daarbij gangbare termen. Betrouwbaarheid gaat hier over de navolgbaarheid van je onderzoek. Bij validiteit gaat het erom dat je kunt laten zien dat je je voorgestelde vraagstuk ook daadwerkelijk hebt onderzocht. De validiteit gaat vooral om de inhoudsvaliditeit. In etnografisch veldonderzoek is er ook veelvuldig sprake van wat soms convergente validiteit (methodetriangulatie) wordt genoemd. Er is ook een onderscheid tussen interne en externe validiteit. De interne validiteit gaat over de logica van de argumentatie binnen het onderzoek. Externe validiteit gaat over de vraag of je onderzoeksresultaten ook van toepassing zijn op andere, vergelijkbare situaties. Het gaat vooral om ecologische validiteit. De methodische verantwoording is het bijhouden van al je gegevens. Betrouwbaarheid betekent dat je wilt voorkomen dat je waarnemingen worden beïnvloed door toevallige of niet-systematische fouten. Om dat te bewaken is het van belang om methoden van dataverzameling heel precies uit te voeren en voorlopige bevindingen herhaaldelijk vast te stellen. Je kunt dit doen door meerdere interviews af te nemen, maar bijvoorbeeld ook door verschillende methoden te gebruiken om hetzelfde onderwerp waar te nemen. Je kunt ook werken in een team van onderzoekers die samen overleggen over de systematiek en consistentie van hun werkwijzen. Dit is onderzoekerstriangulatie. Je kunt ook terugkoppelen naar de informanten, wat member validation of member checks wordt genoemd.

De interne validiteit van etnografisch onderzoek wordt vooral beoordeeld aan de hand van de overtuigingskracht van de interpretaties van de onderzoeksgegevens. Het gaat eerst en vooral om de vraag op welke wijze je de centrale concepten uit de vraagstelling hebt geoperationaliseerd in concrete vragen aan en observaties bij de onderzoekspopulatie. De validiteit staat ter discussie wanneer je de verkregen gegevens bedoeld of onbedoeld in een richting interpreteert die niet in overeenstemming is met de verkregen onderzoeksgegevens. Going native is wanneer je je rol als onderzoeker op de achtergrond verschuift. Je hebt hier ook last van reactiviteit. Je bent zelf verantwoordelijk voor de eindresultaten en wanneer jouw interpretatie afwijkt van die van de onderzochten, zul je je hiervoor moeten verklaren. Er wordt steeds meer gebruik gemaakt met kwantitatief onderzoek om de validiteit te verhogen. Ten slotte is er een methodische verantwoording nodig, ook voor de validiteit van een onderzoek. Je lezers moeten kunnen volgen hoe je als onderzoeker tot je interpretaties bent gekomen. Het is belangrijk om duidelijk op te schrijven hoe de analyse van je gegevens in een bepaald onderzoeksproject heeft plaatsgevonden, zodat de lezer de interpretaties kan beoordelen.

7.3.3 Bij wie wil je de data verzamelen?Je moet op zoek gaan naar mensen of organisaties die willen participeren. Soms liggen de onderzoekseenheden vast. Ook bij dit type onderzoek moet het plan eerst langs de ethische commissie gaan. Informanten moeten vertrouwelijk worden behandeld en zijn vrij om te stoppen met het onderzoek wanneer zij dat willen. Je moet voordat je kunt beginnen aan je onderzoek toegang krijgen tot de situaties en personen die je wilt onderzoeken. De werving van informanten doet beroep op je creativiteit. Als etnografisch onderzoeker maak je zelden gebruik van een toevalssteekproef. Je selecteert de informanten waarvan je vermoedt dat die het meest omvattende beeld kunnen verschaffen van de onderzochte situatie en van je probleemstelling. Je maakt gebruik van een theoretische steekproef, een theoretical sampling. Dit is een vorm van doelgerichte steekproeftrekking waarbij je eenheden selecteert o basis van hun potentiële bijdrage aan de dataverzameling en –analyse. Een van de meest gebruikte methoden is de sneeuwbalmethode. In alle gevallen zul je je echter moeten afvragen of je informanten representatief zijn voor de bredere onderzoekspopulatie. Wanneer dit niet het geval is, kun je opzoek gaan naar deviant cases, mensen die andere opvattingen hebben en gedrag vertonen dat afwijkt van de informanten die je via de sneeuwbalmethode hebt verkregen. Je kunt ook gebruik maken van een doelgerichte steekproeftrekking, dit wordt ook wel een purposive sampling genoemd. De steekproef wordt dan zo samengesteld dat deze zo veel mogelijk representatief is voor de grotere onderzoekspopulatie. De kenmerken van de mensen of het verschijnsel dat je wilt onderzoeken zijn vrijwel altijd de basis van de selectie. Op het punt van verzadiging of saturation ben je klaar met data verzamelen. Dit is het punt waarop je geen nieuwe inzichten meer krijgt met het verzamelen van data. Ook de praktische criteria, zoals geld en tijd, spelen hierbij een rol.

7.3.4 Wanneer wil je de data verzamelen?De uitvoering van het veldonderzoek is vaak tijdintensief. Ten eerste omdat je toegang tot het veld moet krijgen, maar ook tot je informanten. Het opbouwen van een verstandsverhouding met je informanten heet een rapport. Ten tweede kost het veel tijd om een lokale situatie met de onderliggende machtsverhoudingen en het referentiekader te begrijpen. Je moet flexibel en geduldig zijn als etnografisch veldonderzoeker. Je moet rekening houden met het tijdstip dat je kiest om te observeren. Dit geeft soms een andere draai aan je informanten. Ten slotte moet je er rekening mee houden hoe lang na een bepaalde gebeurtenis je mensen hierover bevraagd.

7.3.5 Waar wil je de data verzamelen?Je zoekt meestal een kleine, afgebakende locatie of een geheel van aan elkaar gerelateerde locaties. Wanneer je onderzoek doet op meerdere locaties, is het belangrijk om de overeenkomsten en de verschillen tussen die locaties duidelijk te maken. Het grote voordeel van dergelijke studies is ook dat je daarmee comparatieve vraagstellingen aan de orde kunt stellen.

7.3.6 Hoe wil je de data analyseren?De analyse van etnografische data staat of valt samen met een hoop nauwkeurige en gedetailleerde registratie van de waarnemingen. Tijdens je onderzoek ben je al bezig met het analyseren van de data, maar ook na afloop van het veldwerk moet je nogmaals naar alle onderzoeksgegevens kijken.

Analyseren betekent dat je de data uiteenrafelt en terugbrengt op een nieuwe manier, waardoor je jouw interpretatie van de data goed en helder kunt overbrengen. Je analyseert je etnografische onderzoeksgegevens in het algemeen door te coderen. Je brengt dan per fragment een trefwoord aan. Meerdere trefwoorden samen worden clusters of categorieën genoemd. Dit proces noemen we coderen. Een veelgebruikt stappenplan berust op de Grounded Theory. Het doel hiervan is om de analyse zo veel mogelijk te baseren op de empirische gegevens. Je doorloopt drie stappen:

1. Open codereno Codes vormen op basis van alle datao Met aandacht voor de perspectieven van de informanteno Data met een brede blik bestudereno Patronen vinden en trefwoorden aanbrengen

2. Axiaal codereno Relevante fragmenten vinden om te koppelen aan foreshadowed problemso Opnieuw coderen van die fragmenten

3. Selectief codereno Coderen op een hoger abstractie niveauo Zoeken naar verbanden codeso Bevindingen uitwerken tot theoretisch inzichto Breng de conclusies in verband met eerdere theoretische inzichten

7.4 Hoe ga je rapporteren?Je maakt een rapport. Je begint hier al aan in het veld, maar het meeste schrijfwerk wordt toch pas na het veldonderzoek gedaan. Je bespreekt hierin je conclusies, maar ook de reikwijdte van je onderzoek. Je laat ook de externe (net besproken)en interne validiteit zien, alsook de betrouwbaarheid. Je moet ook een methodologische verantwoording afleggen. Ook moet je een expliciete reflectie afleggen op je persoonlijk en wetenschappelijke achtergronden, en aangeven hoe deze op je onderzoek van invloed zijn geweest.

8 Inhoudsanalyse

8.2 Probleemstelling: wat en waarom?

8.2.1 Vraagstelling: wat wil je precies weten?Inhoudsanalyse is geen analysemethode, maar een dataverzamelingsmethode. Er zijn twee varianten.

- Kwantitatieve inhoudsanalyseo Systematischo Repliceerbaar

o Kwantificeerbaar (in cijfers uit te drukken)o Grootschalige data

- Kwalitatieve inhoudsanalyseo Kleinschaligero Opzoek naar diepgaande interpretatieo Achterliggende betekenissen

Focus in dit hoofdstuk: kwantitatieve inhoudsanalyse.

8.2.2 Doelstelling: waarom wil je dit weten?Strikt genomen kun je met inhoudsanalyse alleen kenmerken van boodschappen beschrijven. Maar je kunt zo’n beschrijving wel gebruiken om meer te weten te komen dan alleen een systematisch idee. Veel inhoudsanalystisch onderzoek is gestoeld op de gedachte dat de inhoud van een boodschap een of ander effect zal hebben op de ontvanger van die boodschap. Het doel kan dus zijn om kenmerken te beschrijven en die vervolgens te koppelen aan kenmerken van degene die boodschappen heeft geproduceerd of ze heeft ontvangen.

8.2.3 Theoretisch raamwerkHet theoretisch raamwerk is afhankelijk van de vraagstelling en de relevante wetenschappelijke literatuur. Je hebt vaak beschrijvende vragen.

8.3 Onderzoeksontwerp: hoe? Bij kwantitatieve inhoudsanalyse gaat het om grote hoeveelheden materiaal en een flink aantal variabelen, waarop je een cijfermatige analyse doet. Een belangrijk doel is vaak dat je wilt kunnen generaliseren. Een ander belangrijk kenmerk is dat je altijd gebruikmaakt van een gestandaardiseerd meetinstrument, het codeboek, dat gebruikmaakt van strikt omschreven variabelen met vaste categorieën.

8.3.1 Wat voor data wil je verzamelen? In de eerste plaats moet je je afvragen welke gegevens je nodig hebt om je onderzoeksvraag te kunnen beantwoorden. De eerste stap is het nadenken over welk ruw materiaal je moet verzamelen om de beoogde gegevens te verkrijgen. In zijn algemeenheid kun je zeggen dat het ruwe materiaal bij inhoudsanalyse bestaat uit boodschappen: we willen de inhoud analyseren van mediaproducten, literatuur, enz. Het is belangrijk om je op dit punt te realiseren dat asl we het over inhoud hebben, we daarmee soms ook vorm bedoelen.

Meetinstrument: van ruw materiaal naar telbare en valide dataOm van de ruwe data telbare data te maken moet je operationaliseren. Een eerste belangrijke beslissing die je bij het maken van je meetinstrument moet nemen, is bepalen wat je als codeereenheden gaat nemen. Een codeereenheid is datgene in het ruwe materiaal dat je in numerieke data gaat omzetten, of datgene waarvan je de kenmerken wilt meten. Dit is vaak anders dan de eenheden die je verzamelt in je steekproef (steekproefeenheden). Bij inhoudsanalyse verzamel je meestal niet direct de eenheden die je ook analyseert.

Het codeboekBij inhoudsanalyse leg je in de praktijk kenmerken vast van codeereenheden. Het codeboek is het meetinstrument van inhoudsanalyse, waarin is vastgelegd welke ‘vragen’ degene die de codeereenheid analyseert moet stellen aan het materiaal, oftewel welke kenmerken gemeten moeten worden en welke antwoordcategorieën de codeur moet gebruiken. Het codeerboek is een boek met daarin een lijst van alle kenmerken die moeten worden geregistreerd van elke codeereenheid. Door het codeboek is het mogelijk om van elke codeereenheid de kenmerken systematisch en inzichtelijk vast te leggen.

Coderen en codeertrainingHet vastleggen van de kenmerken van codeereenheden noemen we coderen, degen die het werk uitvoeren zijn codeurs. Dis is het belangrijkste en tegelijkertijd moeilijkste deel van inhoudsanalyse. Het doel van het codeboek is de eigen interpretaties van de uiteenlopende codeurs zo veel mogelijk uit te schakelen door het geven van specifieke instructies. Succesvol coderen ontstaat vaak op basis van veel proefcoderen en fouten maken. Het trainen van codeurs is belangrijk:

- Je moet ze vertrouwd maken met het codeboek- Ze moeten leren de eigen interpretatie uit te schakelen

Ook het codeboek moet je blijven verbeteren.

8.3.2 Bij wie wil je die data verzamelen?Als je weet welk ruw materiaal je nodig hebt, moet je het nog te pakken zien te krijgen. Boodschappen en communicatiemiddelen zijn niet altijd even makkelijk te verzamelen omdat anderen ze produceren. Je moet je generalisaties beperken tot de media waar jij toegang tot hebt. Eenvoudige random sampling is door praktische obstakels vaak een minder geschikte manier om je steekproef te trekken dan bij een survey.Je moet dus vooraf goed nadenken over wat je precies selecteert en bij wie je je materiaal moet halen. Daarbij moet je een afweging maken tussen representativiteit en pragmatiek: is dat ene kleine stukje materiaal de moeite wel waard?

8.3.3 Waar wil je die data verzamelen?Hangt af van je vraagstelling. Vaak wordt onderzoek om praktische redenen binnen het eigen land gedaan.

8.3.4 Wanneer wil je data verzamelen?Behalve bedenken welk materiaal je wilt verzamelen, moet je ook vaststellen welke tijdsperiode je wilt onderzoeken. Dit is belangijker bij inhoudsanalyse dan andere methoden. De periode waarin een inhoud is geproduceerd, is vaak direct van invloed op de inhoud. Om deze reden is het belangrijk dat je je bewust bent van factoren die van belang kunnen zijn bij het bepalen van de periode waarin je data wilt verzamelen. Geproduceerd materiaal is onderhevig aan niet-random zijn. Eenvoudige random sampling is dus vanwege representativiteitproblemen en vanwege praktische problemen niet altijd de beste of meest praktische optie bij kwantitatieve inhoudsanalyse. Er zijn verschillende steekproefmethoden:

- Censuso Elke eenheid uit de onderzoekspopulatie in je onderzoek opnemeno Je hebt geen steekproefo Geen probleem met representativiteit

- Systematische steekproefo Uit een lijst van materiaal systematisch de nde eenheid kiezeno Toevalssteekproef wanneer de computer n kiesto Goed alternatief voor random samplingo Probleem: tijdsfactor

- Cluster- en multistage-steekproefo Binnen een cluster alle boodschappen meenemen in het onderzoeko Ofo Dit in stappen doen (aantal kranten aantal uitgaven kenmerk)

- Gestratificeerde steekproefo Deel de onderzoekspopulatie op in kleinere groepjes waarin je random eenheden

trekt- Gemaks- en doelgerichte steekproef

o Non-random sampleso Uit praktische overwegingen getrokkeno Statistisch generaliseren niet mogelijk

Belangrijk bij steekproeftrekking bij inhoudsanalyse- Bij alle methoden van steekproeftrekking van belang dat vooraf het steekproefkader wordt

vastgesteld- Datgene waar je naar kunt generaliseren is afhankelijk van waaruit je at random hebt

geselecteerd

8.3.5 Hoe wil je die data analyseren?Verschilt niet echt met grootschalig veldonderzoek. Je moet wel goed nadenken over wat je precies wilt analyseren. De analyse-eenheid is wat je uiteindelijk wilt analyseren en dus waarmee je antwoord kan geven op je vraagstelling.

Veiligstellen van de kwaliteit van een inhoudsanalyseJe moet kunnen aantonen dat je gegevens van voldoende kwaliteit zijn. de interne validiteit kun je onder meer waarborgen door codeurs goed te trainen in het begrip en toepassing van het meetinstrument. De betrouwbaarheid van je onderzoek gaat over de stabiliteit en nauwkeurigheid van het meetinstrument. Bij een goed werkend meetinstrument mogen er geen of weinig meningsverschillen zitten tussen de codeurs. Dit zorgt voor intercodeursbetrouwbaarheid.

Mijn data zijn onbetrouwbaar! Wat nu?De kans op onbetrouwbare data wordt groter naarmate een variabele complexer is en dus meer interpretatie nodig heeft van de codeur. Een manier om het op te lossen is door met de codeurs rond de tafel te gaan zitten en fouten in het codeboek te verbeteren. Een andere manier is om categorieën in je codeboek aan te passen, meestal door ze samen te voegen. Ook kan je een begrip uitsplitsen in makkelijkere begrippen. Wanneer dit allemaal niet werkt, moet je de variabele uit je onderzoek verwijderen.

8.4 Kwantificeren en rapporteren van een inhoudsanalyseBedenk vooraf goed wat je wilt rapporteren, aangezien je zeer waarschijnlijk iets anders selecteert en codeert dan waarover je rapporteert. Het is van groot belang dat je de betrouwbaarheidscoëfficiënt berekent en rapporteert. Je moet de betrouwbaarheid van iedere variabele apart rapporteren. Datzelfde geldt ook voor de validiteit van de begrippen in je vraagstellingen en de operationalisatie daarvan in je meetinstrument: wanneer je dat niet op de een of andere manier netjes en uitvoerig rapporteert, is je onderzoek onnavolgbaar voor anderen.

8.5 Kwalitatieve inhoudsanalyseKwalitatieve inhoudsanalyse heeft als doel om boodschappen diepgaand te analyseren. Het gaat om de latente betekenissen in een boodschap. Je probeert de boodschap te begrijpen in haar context. Het meetinstrument wordt vaak pas tijdens de analyse zelf gemaakt of ingevuld. De rol in de analyse is weggelegd voor de onderzoeker en zijn/haar interpretatie, dus niet voor een codeur. Daardoor wordt er gewoonlijk bij kwalitatieve inhoudsanalyse minder volgens vaststaande procedures gewerkt dan bij kwantitatieve inhoudsanalyse.

8.5.1 Vraagstelling: wat wil je precies weten?Het gaat om beschrijvende vragen die iets diepgaands over boodschappen willen weten.

8.5.2 Doelstelling: waarom wil je dit precies weten?Het gaat om een interpreterende analyse waarbij complexe kenmerken moeten worden gereconstrueerd, door steeds stapsgewijs het materiaal te lezen en te ontdekken. Je doel is vaak om nieuwe variabelen of constructen te ontwikkelen.

8.5.3 Theoretisch raamwerkJe doet nooit toetsend onderzoek, altijd exploratief. Vaak is het doel om een theorie te ontwikkelen of uit te werken: dat is dus theorievorming

8.5.4 Hoe? Wat voor data wil je verzamelen?Het gaat om boodschappen die relevant zijn voor je vraagstellingen. Verschil met kwantitatieve inhoudsanalyse: je hoeft geen volledig uitgewerkt codeboek te hebben. Je gebruikt hoogstens relatief los omschreven onderwerpen, begrippen of topics die een leidraad vormen bij het lezen van het materiaal.

8.5.5 Bij wie wil je die data verzamelen?Je wilt dat je steekproef de variëteit aan aanwezige betekenissen of concepten dekt. Het doel is dus om de door jou ontwikkelde concepten te kunnen generaliseren naar jouw eigen materiaal, niet naar materiaal buiten jouw onderzoek.In de dagelijkse praktijk kiezen onderzoekers vaak pragmatische manieren van doelgerichte steekproeftrekking, maar idealiter gebruik je de methode van theoretische steekproeftrekking. Hierbij selecteer je op basis van je eerste ideeën een kleine hoeveelheid van het materiaal, bekijkt en analyseert die. Hieruit trek je weer een nieuwe steekproef. Zo ga je door.

8.5.6 Waar wil je die data verzamelen?Zelfde als kwantitatieve inhoudsanalyse.

8.5.7 Hoe wil je die data analyseren?Ligt aan je vraagstelling hoe je de data analyseert. Het is belangrijk dat je analyse gedeeltelijk interpretatief is. De uitkomst van de analyse moet voor een groot deel afhankelijk zijn van de systematische interpretatie die jij als individuele onderzoeker aan het onderzoek geeft. Er is hier ook een cyclistisch karakter. ‘

Veiligstellen van de kwaliteit van een kwalitatieve inhoudsanalyseDe kwaliteit van een onderzoek is lastig aan te tonen. Er bestaan namelijk geen ‘harde’ criteria voor en zeker geen criteria die in makkelijk te interpreteren getallen zijn uitgedrukt. De kwaliteitscontrole is dan ook meer een beoordeling door de onderzoeker dan een echte meting. Je kunt door transparant te zijn laten zien dat je intern valide bent. Dit doe je door te rapporteren welke theoretische argumenten je hebt om je meetinstrument te ontwikkelen en je analyses te doen. Vervolgens noteer je de beslissingen die je neemt tijdens de analyse en het ontwikkelen van je meetinstrument in memo’s. Hieruit put je bij de rapportage van je studie. Een derde manier om de interne validiteit onafhankelijk te controleren is traingulatie. Dit kan zowel methodisch als onderzoekers. Door verschillende onderzoekers het onderzoek te laten herhalen of analyseren verhoog je de betrouwbaarheid. Ook moet je open zijn over je gegevens. De externe validiteit vergroot je door een doelgerichte steekproef te nemen van extreme gevallen.

8.5.8 Kwantificeren en rapporteren van een kwalitatieve inhoudsanalyseJe bewijsmateriaal bestaat uit de resultaten en de abstracte begrippen. Je beschrijft welke concepten je hebt ontdekt en hoe ze aan elkaar gerelateerd zijn. Het is ook belangrijk om te rapporteren wat je hebt gedaan om de kwaliteit van je onderzoek te garanderen en inzichtelijk te maken.

9 Gebruik van bestaande gegevens

9.2 Verschillende soorten bestaande gegevensTwee situaties:

- De gegevens zijn er alo Ze zijn niet met het oog op jouw vraagstelling verzameldo Registraties, officiële statistiek, sporen

- De beschikbare, door anderen verzamelde onderzoeksgegevens toegespitst op jouw vraagstelling

o Gegevens gedeponeerd in data-archieveno Mogen door onderzoekers gebruikt wordeno Vervolganalyse = secundaire analyse

9.3 Neerslag van gedrag in de vorm van registraties, officiële statistiek en sporen

RegistratiesHet gaat meestal om de neerslag van (non-verbaal) gedrag. Registraties zijn administratieve gegevens.

- Voordeleno Goedkoopo Geen last van non-responso Geen last van sociaal wenselijk antwoordgedrag

Officiële statistiekInstellingen die de expliciete taak hebben statistische gegevens te verzamelen. Dit is officieel statistisch materiaal.

SporenDit kunnen letterlijke sporen van gedrag in de fysieke omgang zijn, van datgene dat mensen zoal wegdoen. Er kan sprake zijn van selectiviteit, dit zorgt dan voor een invloed op de validiteit. De ecologische validiteit van sporen is beperkt.

9.3.1 Vraagstellingen bij het gebruik van registraties, officiële statistiek en sporenVraagstellingen kunnen hun antwoorden vinden bij het CBS.

9.3.2 Doelstellingen bij het gebruik van registraties, officiële statistiek en sporenOmdat registraties, officiële statistiek en in mindere mate sporen heel uiteenlopende informatie bevatten zijn ze voor zeer uiteenlopende onderzoekers en gebruikers van onderzoeksresultaten interessant. Officiële statistieken zijn goed bruikbaar voor longitudinaal en vergelijkend onderzoek, omdat het over verschillende landen en tijden goed wordt bijgehouden. Als je sporen gebruik belast je ook geen respondenten en heb je bovendien als onderzoeker geen last van sociaal wenselijke antwoorden op je vragen.

9.3.3 OnderzoeksontwerpJe kunt zowel beschrijvende als aanvullende voorspellingen formuleren. Doelstelling van het gebruiken van registraties en officiële statistiek is om met zo weinig mogelijk kosten en zonder belasting van respondenten zo betrouwbaar mogelijke data te verkrijgen.

9.3.4 Nog een aantal andere bronnen van bestaande gegevensDe twee belangrijkste overheidinstanties zijn het CBS en het SCP. Nederland is een registerland waarbij gegevens via bepaalde unieke codes aan elkaar worden gekoppeld door het CBS. Door

enquêtes te koppelen aan deze registers worden de inhoudelijke data verrijkt met talrijke persoons- en regionale gegevens. Voor onderzoekers is dit toegankelijk via Remote access: een systeem waarbij op afstand deze gegevens beschikbaar zijn, waarbij maatregelen worden genomen om de privacy van respondenten te beschermen. Andere overheidsbronnen:

- Rijksinstituut voor Volksgezondheid en Milieu (RIVM)- Wetenschappelijk Onderzoeks- en Documentatiecentrum (WODC)- Rijksdienst voor het Wegverkeer (RDW)- Kadaster

Andere niet-overheidsbronnen- Nederlandse organisatie voor Toegepast Natuurwetenschappelijk Onderzoek (TNO)- Bureau Krediet Registratie (BKR)- Atlas Volksgezondheid

Ontwikkeling die belangrijk is: meer gebruik van Big Data. Denk aan google.

9.4 Secundaire analyse op bestanden uit data-archieven De Data Archiving and Networked Services (DANS) is een internationaal dataverzamelingssite. Dit is een initiatief van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) en de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Het is een onderdeel van de National Academic Research and Collaborations Information Systm (NARCIS). Je kunt hier publicaties vinden van universiteiten van over de hele wereld.

9.5 Voor- en nadelen van het gebruik van bestaande gegevensVoordelen:

- Geen gegevens zelf verzamelen- Geen uitgelokte gegevens (belangrijk voor interne validiteit)- Bespaart geld en tijd- Biedt mogelijkheid gegevens te combineren- Je kan er op ieder gewenst moment gebruik van maken- Kan veel vergelijken- Geeft een goed startpunt voor een nieuw onderzoek

Nadelen:- Met een ander doel verzameld- Kunnen niet toereikend zijn- Je weet niet wie/hoe/wat/waar de data zijn verzameld

Ook bij secundaire analyse geldt een aantal voor- en nadelen:Voordelen

- De methode van dataverzamelen is unobtrusive, je valt niemand lastig- Tijd en geld winst

Nadelen - Sterker dan bij statistiek en registraties zijn we wel verbonden aan de kwaliteit van de

oorspronkelijke gegevens- Kwaliteit in termen van betrouwbaarheid en validiteit zijn niet altijd goed in te schatten

9.6 Systematische review van wetenschappelijk literatuurWe spreken van een systematische review van de literatuur als de studie bedoeld is om een wetenschappelijke vraagstelling te beantwoorden en er duidelijk criteria geformuleerd zijn om relevante literatuur op te sporen. Transparantie is belangrijk. Vraagstellingen die geschikt zijn voor een systematische review hebben vaak een inventariserend en beschrijvend karakter. De systematische reviewbenadering is in de eerste instantie ontwikkeld om de gegevens en resultaten uit kleine studies samen te gebruiken in een grotere studie en zo het onderscheidend vermogen te vergroten. Hoewel je bij systematische review min of meer alle stappen van het onderzoeksplan doorloopt, zijn de volgorde en terminologie soms net iets anders.

- Vaststellen vraagstelling- Nadenken kenmerken onderzoekspopulatie (= artikelen)- Nadenken over waar relevante literatuur te vinden is- Hoe spoor je de artikelen binnen de databases op- Extra fase – sluiten de artikelen goed aan?

Data-extractie is de stap waarin jij als onderzoeker de relevante stukken uit de artikelen in de verzameling haalt en deze codeert. Voordelen

- Beperkte kosten- Zeer rijk en omvangrijke informatie

Nadelen- Er wordt vanuit gegaan dat de onderzoeksresultaten een lange houdbaarheidsdatum hebben- Ten onrechte denken dat een interventie heel effectief is omdat de studeis die geen effect

lieten zien minder kans hebben om gepubliceerd te worden = publication bias

9.7 Meta-analyseMeta-analyse is een procedure om het gemiddelde effect vast te stellen van een hypothese die getoetst is in een groot aantal verschillende studies die op hun beurt zijn geïdentificeerd in een systematische review. De resultaten worden met behulp van de statistiek op kwantitatieve wijze samengevat. Voordeel

- Enorme hoeveelheid onderszoeksresulaten worden samengebracht- Gratis beschikbaar

Nadelen- Dezelfde als bij systematische review

Je moet bij een meta-analyse erop kunnen vertrouwen dat de statistische informatie accuraat en eerlijk gerapporteerd is.