Ben Baarda – Dit is onderzoek! Handleiding voor kwantitatief en kwalitatief onderzoek

Een samenvatting over hoofdstuk 3 en 4 van het Nederlandse boek. Geschreven door Maud Luitjens, te Maastricht, 5/6 juni 2012

3.1 Hoe worden kenmerken in meetbare termen vertaald; operationaliseren?

3.1.1 Kenmerken definiëren, dimensies en indicatorenDe kwaliteit van de gegevens van jouw onderzoek hangt af van de manier waarop jij die gegevens hebt verzameld.

1. Een goede definitie is van groot belang2. Bij abstracte complexe begrippen is het belangrijk om hier concrete karakteristieken bij te

formuleren. Dit proces, het vertalen van een abstract complex begrip naar een concreet meetbare term wordt operationaliseren genoemd.

Dimensies - sub dimensiesDimensies zijn abstract, daarom moet er voor de dimensies gezocht worden naar indicatoren. Deze indicatoren zorgen ervoor dat de abstracte dimensie meetbaar wordt. Bij het proces van operationaliseren wordt je gedwongen om jezelf de vraagt te stellen of je 1 of meerdere dimensies gaat meten.

Daarnaast is het handig om een abstract complex begrip te operationaliseren in een aantal vragen en observatiepunten.

Bovenstaand over dimensies en operationaliseren gaat over een kwantitatief onderzoek. Natuurlijk wil je bij een kwalitatief onderzoek ook een duidelijk onderwerp formuleren. Vaak is het handig om gebruik te maken van een topiclist bij een kwalitatief onderzoek. Deze topiclist gebruik je om het onderwerp te formuleren.

3.2.1 DataverzamelingsmethodeDe meeste informatie krijg je door ernaar te vragen in het dagelijks leven. Als jij benaderd word door een onderzoeksbedrijf over koopgedrag dan heb je te maken met een informant, deze informant verzamelt informatie voor een ander bedrijf en dus nog niet voor zichzelf.

Om er achter te komen hoe mensen over iets denken moet je vragen stellen en observeren.

Sociaal wenselijkheid een antwoord geven dat niet helemaal vanuit jou komt, maar je houdt met dit antwoord rekening met je omgeving over hoe zij over dingen denken. Sociaal wenselijke antwoorden hebben invloed op de onderzoeksresultaten, dit kan een verdraaid beeld opleveren.

Bestaand materiaal wordt gebruikt om actuele dingen testen, waaronder bijvoorbeeld de zesjescultuur, vroeger was dat niet het geval. Dit kan met bestaand materiaal dus onderzocht worden.

1

Bestaand materiaal wordt veel gebruikt bij deskresearch dit is een manier van onderzoeken waarbij je niet het veld in hoeft en zelf opzoek moet gaan naar je informatie.

Triangulatie zie paragraaf 4.3 voor uitgebreide uitleg.

3.1.3 Dataverzameling betrouwbaar en valide? Een goed onderzoek hangt af van de dataverzameling. Dit aspect is vooral belangrijk bij complexe en/of abstracte begrippen. Het niet meten van wat je hebt verondersteld wordt instrumentele validiteit genoemd.

In een kwalitatief onderzoek wordt er niet gesproken over validiteit, er wordt voorkeur gegeven aan het begrip geldigheid. Bij een kwalitatief onderzoek is de ecologische validiteit groter, dit omdat de kwalitatieve onderzoeker dichterbij het onderzoek staat dan de kwantitatieve onderzoeker. Ook maakt de kwalitatieve onderzoeker meer gebruik van triangulatie, paragraaf 4.3 voor meer informatie.

Betrouwbaarheid, de mate waarin een meting onafhankelijk is van toeval. Stel je maakt een test en hebt 30 antwoorden goed, als je dan volgende week weer 30 antwoorden goed hebt, is deze test betrouwbaar. Ook heeft de test een zekere mate van stabiliteit. Is het bovenstaande voorbeeld niet het geval dan heb je te maken met een onbetrouwbare en niet stabiele test.

Toeval kan uit verschillende bronnen voortkomen, te weten: - Het gebruikte instrument om gegevens mee te verzamelen. - De onderzochte persoon- De omstandigheden- De onderzoeken/interviewer/observator

Als een meting niet betrouwbaar is, kan deze nooit valide zijn!Maar, als een meting betrouwbaar is, wil dat niet meteen zeggen dat deze ook valide is.

Een meting is dus betrouwbaar als deze onafhankelijk is van; instrument, persoon, omstandigheden en onderzoeker.

3.2 Wat is een goede opzet voor een interview of een enquête?

3.2.1 Geschikte vormVragen naar informatie kan schriftelijk of mondeling, dit is ook een belangrijke keuze als het gaat om het verzamelen van informatie voor jouw onderzoek. Bij een mondeling enquête onderzoek moet het goed gestructureerd zijn. Je maakt hier gebruik van standaardvragen met antwoord categorieën, af en toe worden er aanvullende vragen gebruikt.

Bij een open interview heb je vaak een vaste openingsvraag om mee te starten. De vervolgvragen worden gebaseerd op de antwoorden en de input van de ondervraagde. Bij een open interview wordt er soms met een topiclist gewerkt.

Het grootste deel van schriftelijke onderzoeken bevat vragenlijsten.

Bij een kwalitatief onderzoek wordt er ook gebruik gemaakt van schriftelijke dataverzameling; - opstellen- zin aanvul test, dit is een associatieve en projectieve techniek.

2

Imago onderzoek is ook een voorbeeld van associatieve en projectieve techniek.

Mondelinge dataverzameling Schriftelijke dataverzamelingVoordelen Nadelen Voordelen Nadelen

Natuurlijke manier van dataverzameling

Sociaal wenselijke antwoorden bij respons

Weinig tijd en geld Geen controle

Je ziet en hoort de respondent

Kostbaar en veel tijd gaat erin zitten

Anonieme manier van dataverzameling

Geen uitleg geven, het bij makkelijke onderwerpen houden

Uitleg geven en doorvragen

Je hebt goede interviewers nodig

Bedenktijd voor de respondent

Controle op beantwoorden met eventueel overslaan van vragen

Respons is groot Non-respons

Communicatiemiddelen:- face to face- telefonisch; grootste voordeel, minder tijd met verwerken van gegevens. - via post versturen- email/internet

Bij telefonisch onderzoek wordt er gebruik gemaakt van hulpprogramma’s zoals CATI: Computer Assisted Telephone Interviewing of CAPI: Computer Assisted Personal Interviewing. Het nadeel aan een telefonisch onderzoek is dat het niet gebruiksvriendelijk is.

Zie tabel 3.2 voor de voor- en nadelen van bovenstaande communicatiemiddelen.

Ga je een persoonlijk interview doen of een interview in groepsverband? Dus doe je een persoonlijke of groepsgewijze benadering. Focusgroep, deze valt onder de groepsgewijze benadering. Voor de voor- en nadelen van de individuele of groepsgewijze benadering zie tabel 3.3

3.2.2 Aandachtspunten interview/enquêteEen interview/enquête kun je onderverdelen:

- introductie- opbouw- vragen + antwoordmogelijkheden

Introductie:Uitleg, wie ben je, welke informatie wil je hebben.Uitleg van het doel van het gesprek, wat er gaat gebeuren met de informatie. Mogelijkheid om contact op te nemen met de onderzoekers vermelden. Hoe lang duurt het gesprek.

Opbouw: PersoonsgegevensHet onderzoek moet breed beginnen. De vraagvolgorde-effecten zijn belangrijk.

Vragen + antwoordlijkmogelijkheden:

3

Dingen waarop je moet letten. Bij gesloten vragen moet je op de volgende dingen letten:

- 1 of meer antwoordmogelijkheden- zijn alle antwoordmogelijkheden bekend- is het een feit of een mening- vorm van het antwoord

In principe hoef je bij open vragen geen antwoordmogelijkheden te geven. Maar om de gegevens te verzamelen die je nodig hebt kun gericht vragen stellen. En maak gebruik van neutrale vragen.

Eisen voor zowel open als gesloten vragen:- heldere vragen- concrete vragen- neutrale vragen

3.3 Wat is een goede opzet voor observatieonderzoek?

3.3.1 ObservatiemethodeBij dataverzameling over gedrag is observatie de beste manier. Manieren van observatie:

- Participerende observatie- Verhulde observatie

Bij observatie moet je een keuze maken tussen open, ongestructureerde observatie of gestructureerde observatie. Tijdens observeren is het handig om een recorder of notitieboekje mee te nemen voor aantekeningen en opmerkingen.

3.3.2 Wat kan er geobserveerd worden?Zie het voorbeeld uit het boek op p.96 –p.97

3.4 Wat is een goede opzet voor het doen van onderzoek met bestaande gegevens?

3.4.1 Voor- en nadelen bestaand materiaalSoms kan het beter zijn om bestaand materiaal te gebruiken voor je onderzoek, want die informatie is vaak valide en het levert ook soms valide onderzoeksresultaten op. Natuurlijk is bestaand materiaal ook makkelijker te verkrijgen dan materiaal waar je nog aan moet komen. Daarnaast leidt je ook niet tot respondentenbederf. De dataverzameling van het bestaande materiaal wordt in principe niet door de onderzoeker veranderd, het blijft dus non-reactief (=unobtrusive). De nadelen aan het gebruik van bestaand materiaal zijn:

- het materiaal is vaak niet geformuleerd voor onderzoeksdoeleinden- probleem van representativiteit- geen controle op de oorspronkelijke dataverzameling- gegevens zijn lastig verkrijgbaar of kosten geld

4

3.4.2 Verschillende vormen bestaand materiaal en gebruik ervanUitleg over 2 soorten bestaand materiaal:

1. Cijfers en/of databestanden: Her analyse van bestanden Secundaire analyse, proberen het tegendeel te bewijzen Meta- analyse

2. Teksten: Inhoudsanalyse Scanprogramma’s

Kwantitatief onderzoek + schriftelijke dataverzameling: dingen tellen en gemiddelde berekenKwalitatief onderzoek + schriftelijke dataverzameling: de betekenis van het verhaal zoeken.

Het analyseren van gesprekken gaat via “discourse- of conversatieanalyse”.

5

4.1 Hoe worden kwantitatieve gegevens geanalyseerd?

4.1.1 Voorbereiding kwantitatieve analyseDe dataverzameling bij een kwantitatief onderzoek gaat meestal via de computer. Er zijn verschillende programma’s beschikbaar op de computer om analyse van gegevens te maken. Zoals; SPSS of Excel. Om gebruikt te maken van deze programma’s moet je eerst jouw gegevens omzetten in een ruwe datamatrix, zie p.107 voor een voorbeeld. Het is gebruikelijk bij een datamatrix om de variabelen in de kolom te zetten en de eenheden in de rij. Als je dan je gegevens in een datamatrix hebt omgezet moet je een paar zaken vaststellen voordat je met de analyse begint.

- Wat is mijn onderzoeksvraag?- Gaat het om frequenties/verschillen/samenhangen?- Wat is het meetniveau van mijn variabelen? - Gaat het om een populatie of een steekproef? - Hoe groot is mijn steekproef?

Uitleg over deze vragen zie p.108 t/m p.112

Meetniveau er zijn verschillende meetniveaus; nominaal, ordinaal en interval- en rationiveau.Zie tabel 4.2 met een overzicht over de meetniveaus en tabel 4.3 met voorbeelden over de meetniveaus.

4.1.2 Beschrijving kwantitatieve gegevensJe kunt verzamelde gegevens op verschillende manieren presenteren; in tabellen, grafieken en/of samenvattende statistische maten. Een tabel is de meet voorkomende vorm om kwantitatieve gegevens in te presenteren. Je kunt in een tabel niet alleen frequenties vermelden, maar ook percentages.

Cumulatief percentage, optellen tot 100%

Soorten tabellen:

- Klassenindeling, zie tabel 4.5

- kruistabel, zie tabel 4.6

Anderzijds is het voor veel mensen fijn om de resultaten gepresenteerd te krijgen in grafieken. Voor nominale variabele kan er gebruikt worden gemaakt van een staaf- of cirkeldiagram. Bij interval- en ratiogegevens kan er gebruikt worden gemaakt van een histogram. In tegenstelling tot de staafdiagram staan de staven bij een histogram tegen elkaar aan.

Als je kijkt naar figuur 4.2a, dan spreken we over een normaal verdeling. Dit een symmetrische klokvorm waarmee gerekend kan worden. In figuur 4.2b zie je een scheve verdeling. Wanneer er extreem hoge of lage waarden in je gegevens zitten, wordt er gesproken over uitbijters. Bij het in kaart brengen van de relatie tussen twee interval- of ratiovariabelen maak je vaak gebruik van een spreidingsdiagram, (scatterplot). Zie figuur 4.3. Regressielijn, deze voorspelt het gemiddelde. Als de punten in een spreidingsdiagram dichtbij elkaar liggen, wordt deze samenhang uitgedrukt in correlatie. 0 heeft hierbij een negatief verband en 1 heeft een perfect positief verband.

De meest voorkomende samenvattende statistische maat is het gemiddelde. Deze wordt ook wel de centrummaat genoemd. Mediaan: de middelste waarde

6

Modus: de waarde die het meeste voorkomt.

Naast dat het belangrijk is om iets te weten over het centrum van een verdeling, is de spreiding ook interessant. Er zijn verschillende spreidingsmaten om hier meer over te weten te komen. De range: het bereik van de verdeling, het verschil tussen de hoogste en laagste waarde. De standaarddeviatieDe variantie: wortel uit de standaarddeviatie, geeft aan hoever de scores van het gemiddelde afliggen.

De variantie wordt bij een steekproef op een andere manier berekent dan bij een populatie.

Excel kent ook nog andere samenvattende statische maten: - standaardfout- scheefheid- minimum, maximum en de som

4.1.3 Analyse kwantitatieve steekproefgegevensBij analyse van kwantitatieve steekproefgegevens gaat het om de volgende aspecten:

- beschrijven v/d populatie op basis van een steekproef,- vaststellen van verschillen in deelpopulaties op basis van een steekproef,- vaststellen van verschil in proporties tussen deelpopulaties op basis van steekproeven,- vaststellen van samenhang tussen variabelen in de populatie op basis van een steekproef.

Bij een steekproef ben je nooit helemaal zeker van het resultaat, want elke steekproef zal weer een andere uitkomst hebben. Deze uitkomsten worden altijd beïnvloed door het toeval, dus de betrouwbaarheid van de steekproef hangt af van de grootte van dit toeval. Dit wordt ook wel de standaardfout genoemd, deze wordt groter als de steekproef kleiner wordt. Voor de formule van de standaardfout voor steekproefgemiddelde zie p.121.Op basis van de standaardfout kun je uitspraken doen over de betrouwbaarheidsmarges van de verdeling; je kunt aangeven wat het betrouwbaarheidsinterval is.3de formule op p.121 geeft de standaardfout voor steekproefproporties weer. De p in deze formule staat voor proportie.

Het vaststellen van verschillen in deelpopulaties gaat via de T-toets, deze T-toets kan toegepast worden in Excel en in SPSS. Bij een gepaarde T-toets wordt er de dezelfde vraag 2 keer moeten beantwoorden. Ook deze gepaarde T-toets kan in Excel of SPSS verwerkt worden. Bij het vergelijken van steekproefgemiddelden is het belangrijk om te analyseren of het om afhankelijke of onafhankelijke steekproeven gaat. Een T-waarde wordt dus bepaald door het toeval, maar deze wordt ook bepaald door het aantal vrijheidsgraden. En de vrijheidsgraden worden weer bepaald door de grootte van de steekproef. Bij de vrijheidsgraden moet je rekening houden met een eenzijdige of tweezijdige toets.

Bij proporties gaat het anders dan bovenstaand. Als je naar het verschil zoekt bij proporties maak je gebruik van de Chi-kwadraat. In Excel zit een functie voor de Chi-kwadraat.

Met de “r to p calculator” kun je de kans uitrekenen van het toeval van de correlatie. Houdt hier wel rekening met de eenzijdige of tweezijdige toets.

7

! De termen die hier gebruikt worden komen terug in statistiek h7 en verder, denk aan vrijheidsgraden, dit is stof van semester 3, dus heel 4.1 gaat over de statistiekstof van semester 3, maar je moet het wel kennen in semester 2!

4.1 Hoe worden kwalitatieve gegevens geanalyseerd?

4.2.1 TheoriebenaderingJe kunt een analyse van kwalitatieve gegevens het best vergelijken met een ontdekkingsreis. Wat een kenmerk is van een ontdekkingsreis, je weet op het begin niet waar je uiteindelijk terechtkomt, dat is ongeveer hetzelfde met de analyse van kwalitatieve gegevens. Bij een analyse van kwalitatieve gegevens begin je met het ordenen met alle verzamelde gegevens. De meest gebruikte kwalitatieve analyse methode is de gefundeerde theoriebenadering. De eerste ordening in informatie-eenheden, uitzoeken welke stukken bij elkaar horen. Vervolgens ga je kijken of de stukken relevant zijn ja of te nee. Het iteratief proces is kenmerkend voor een kwalitatieve analyse, dit proces houdt het passen en meten in de informatie in.Daarnaast houd je ook al je beslissingen bij in een logboek.

Na deze bovenstaande stappen ga je over op datareductie, het labelen van de gegevens. De eerste fase van dit proces wordt ook wel open codering genoemd, belangrijk is om met het label dit bij de tekst/audio te blijven. Het doel en de uitkomst van dit proces is het ophelderen en overzichtelijk maken van de verzamelde gegevens. Axiaal coderen het zoeken naar categorieën in het label van de verschillende gegevens. Een andere naam is samenvattend coderen. Vanuit deze codeerfase is het nodig om abstracter te gaan coderen; selectief coderen.

4.2.2 Alternatieve manieren voor kwalitatieve data-analyseEen etnografisch onderzoek, deze manier van onderzoeken wordt voornamelijk gebruikt bij onderzoek naar stammen. Het onderzoek bestaan vaak uit ongestructureerde observaties en gesprekken. * Voorbeeld Margaret Mead p.134 en p.135Een etnografische benadering wordt bijna altijd gedaan in een participerend onderzoek, onderzoeken door zich ergens in onder te dompelen en het aan het lijf mee te maken. Bij deze benadering moet je opletten met subjectiviteit, maar er zijn verschillende manieren van geldigheid om hiermee om te gaan. Casestudie, meer het verwoorden van steekwoorden over de gegevens, dit wordt ook wel editing genoemd, een globale manier van onderzoeken. Sensitizing concepts, kijken of je de uitkomsten uit een bron in jouw begrippen kan plaatsen. Template benadering de gevonden gegevens in een mal van jouw onderzoek plaatsen.

4.2.3 Geldigheid resultaten uit een kwalitatieve analyseSubjectief, de gegevens bestaan niet alleen uit feiten, maar ook uit meningen. Een verwijt over een kwalitatief onderzoek is, dat het vaak moeilijk na te gaan is en te controleren. Termen die liever gebruikt worden bij een kwalitatieve analyse zijn plausibiliteit en transparantie. Om deze twee begrippen te onderzoeken en te bevorderen zijn er verschillende methoden;

- triangulatie- audit trail (logboek bijhouden)- peer debriefing (collegiale controle)- member checking (controle door betrokkenen)

8

- negatieve caseanalyseTriangulatie in 1 data bron met verschillende mensen spreken zodat je het verhaal hoort van verschillende kanten. Of vragen of een andere onderzoeken een tijdje wil participeren.

Negatieve caseanalyse In plaats van dat de onderzoek uitzoekt of hij gelijk heeft, kan hij/zij ook onderzoeken of hij/zij ongelijk heeft.

4.3 Hoe worden onderzoeksgegevens gerapporteerd?

Een onderzoek is pas relevant op het moment dat andere mensen kennis hebben genomen van jouw onderzoek. Daarom is het belangrijk om na te denken over hoe je data gaat presenteren. De meeste voorkomende manier om je onderzoek te presenteren is een rapport of een artikel. Voor de structuur van een rapport of artikel zie p.140 en p.141.

Voor de rest van 4.3 raad ik je aan het boek te lezen, want het gaat alleen over de inhoud en de verschillende onderdelen van een rapport.

9