KOM - Bryman |1

Sociale onderzoeksstrategienJe kan het begrip theorie gebruiken in heel wat contexten, maar de meest gebruikte vorm is dat het een uitleg voor de waargenomen feiten/regelmatigheden is. Opmerkelijk is dat er in deze paragraaf een distinctie (Merton, 1967) mogelijk is tussen zogenaamde theories of the middle range (labelling theory, Becker, 1963) en de grand theories (vb.: structuration theory, Giddens, 1984), dewelke op een hoger en meer algemeen abstractieniveau gesitueerd zijn. Volgens Merton, bieden grand theories minder aanwijzingen voor onderzoekers over het feit hoe ze de verzameling van empirisch bewijs kunnen leiden of benvloeden. Wanneer iemand dus een theorie wil testen of er aanwijzingen uit wil halen die kunnen worden getest, is het abstractieniveau meestal zo groot dat de onderzoeker moeilijk de noodzakelijke verbanden met de echte wereld kan leggen. We kunnen hier dan ook spreken van een paradox. Zelfs de meest abstracte ideen behoeven een verband met de externe realiteit, maar het niveau van abstractie is zo hoog dat het moeilijk wordt om ze te plaatsen in het onderzoek. Met betrekking tot onderzoeks-doeleinden zijn vervolgens de grand theories volgens Merton beperkt in hun gebruik. Meer bepaald, ze zijn beperkt in hun verband met sociaal wetenschappelijk onderzoek. Hier tegenover staat dat de theories of the middle range are intermediate to general theories of social systems which are too remote from particular classes of social behavior, organization and change to account for what is observed and to those detailed orderly descriptions of particulars that are not generalized at all.

KOM - Bryman |2 Literatuur handelt als een impuls met verschillende karaktertrekken: de onderzoeker wil een inconsistentie tussen verschillende bevindingen of verschillende interpretaties van bevindingen verklaren; de onderzoeker kan een niet behandeld aspect van een topic gevonden hebben; sommige ideen kunnen voorgaand niet getest zijn; enzovoort Soms zijn wetenschappers geneigd ietwat neerbuigend te staan ten opzichte van onderzoek waarbij ze geen direct verband kunnen vinden met een theorie. Zulk onderzoek noemt men naive empricism Theorie is dus iets dat de verzameling en analyse van data begeleidt en benvloedt. Onderzoek wordt gedaan met het oog op het beantwoorden van theoretische vraagstellingen. Een andere methode om tegen theorie aan te zien is het feit dat theorie pas gevormd wordt na de verzameling en analyse van data. We stellen dus vast dat een tweede belangrijke factor aan te pas komt, namelijk het verschil tussen inductie en deductie. Deductive and inductive theory Een belangrijk onderscheid is dat tussen deductie (het bijzondere uit het algemene afleiden) en inductie (het algemene uit het bijzondere afleiden). Deductieve theorien vertegenwoordigen de meest voorkomende kijk op het verband tussen theorie en sociaal wetenschappelijk onderzoek. De onderzoeker deduceert een hypothese die moet worden onderworpen aan een nauwkeurig empirisch onderzoek. Eerst stel je een hypothese op, waarna je de data gaat verzamelen en de predictie gaat toetsen. Vervolgens ga je kijken of deze veronderstelling klopt en kan je ze gaan verwerpen of behouden. Deductie steunt op een lineair proces (stap voor stap), waarvan we echter niet altijd kunnen spreken. Bij het testen van theorien (deductie) constateren we enige logica: we kunnen immers theorien pas geloofwaardig vinden als ze grondig getest zijn geweest. Deze herhaaldelijke terugkoppeling van theorie naar data om zo de theorie beter te onderbouwen noemt men een grounded theory.

KOM - Bryman |3 Wanneer je gebruik maakt van inductie (generaliseerbare gevolgtrekkingen uit je observaties), is de theorie het resultaat van het onderzoek. Je gaat data verzamelen en analyseren, waarna je er een conclusie uit gaat trekken. Deze conclusie is dan je theorie. Het is een alternatieve manier om theorie en onderzoek te linken, hoewel het ook een deductief element bevat.

Epistemological considerations Wanneer we het epistemologische standpunt van een onderzoek gaan bekijken, vragen we ons af wat aanvaardbare kennis is (of wat het zou moeten zijn) binnen het onderzochte domein. Zeer centraal staat de vraag of de sociale wereld kan en zou onderzocht moeten worden volgens dezelfde principes en procedures die men bij de natuurwetenschappen hanteert.

Positivist epistemology Het positivisme is een epistemologisch standpunt dat de toepassing van de natuurwetenschappelijke methoden op de studie van de sociale werkelijkheid benadrukt/verdedigt. Belangrijk zijn volgende punten: Alleen empirisch verifieerbare kennis is de enige juiste (cf. Het logisch positivisme). Het doel van een theorie is om hypothese te genereren die getest kunnen worden, waardoor er verklaringen van wetten kunnen opgesteld worden (deductief principe). Kennis wordt ook bereikt door de verzameling van feiten die de bases van de wetten verstrekken. Wetenschap moet streven naar waardevrijheid (objectiviteit). Er is een duidelijk onderscheid tussen positieve en normatieve statements.

KOM - Bryman |4 Realist epistemology Het realisme is gelijkend op het positivisme. Ook zij zegt dat de natuurwetenschappelijke methoden geschikt zijn. De externe realiteit bestaat overigens onafhankelijk van onze percepties. Empirical realism: er zijn nauwe overeenkomsten (gesloten correspondentie) tussen de realiteit en de termen die ze beschrijven. Met de juiste onderzoeksmethodes kan je de realiteit begrijpen. Critical realism: theoretische termen bemiddelen onze kennis van de realiteit. Onderliggende structuren genereren waarneembare events. Er zit orde in de realiteit en in de gebeurtenissen in de sociale wereld. Enkel met dit inzicht kunnen we de sociale wereld begrijpen. Interpretivism epistemology Het interpretivisme is de term gegeven aan een contrasterende epistemologie met het positivisme (nietpositivistische methodes). Er is een strategie vereist die rekening houdt met de verscheidenheid tussen mensen en hun instituties en de objecten van de natuurwetenschappen. Daarom raadt het de sociale wetenschapper aan om de subjectieve betekenis van sociale actie aan te houden. Men wil de zin onthullen, want er is geen exacte benadering mogelijk. Kijk maar naar Webers notie van Verstehen (to understand (het interpretatieve verstaan van sociale actie), niet zozeer to explain, het hoofdingredint van het positivisme) of de fenomologie (een verschijnsel in zijn totaliteit onderzoeken zo grondig en nauwkeurig mogelijk). Als men interpretatief onderzoekt kan de onderzoeker verbaasd zijn met zijn bevindingen, tenminste als hij er extern gezien ver genoeg van af staat. Het interpretivisme is benvloed door het symbolische interactionisme en probeert de wereld te zien uit het perspectief van de actoren; een subjectieve realiteit.

KOM - Bryman |5 Ontological considerations Het ontologische aspect houdt zich bezig met welke realiteit er is en waaraan die onderhevig is. De centrale gedachte gaat om het punt of sociale entiteiten beschouwd moeten worden als objectieve entiteiten die een realiteit hebben die extern is aan de sociale actoren, of dat die sociale entiteiten moeten worden beschouwd alsof ze worden opgebouwd uit de percepties en handelingen van de actoren. Naar deze standpunten verwijst men respectievelijk als het objectivisme en het constructivisme. Objectivist ontology Het objectivisme is een ontologische positie welke impliceert dat de sociale fenomenen externe feiten zijn, die buiten ons bereik staan (de groep heeft een eigen leven). Ze zouden onafhankelijk zijn van de gedragingen van de sociale actoren. Die actoren worden namelijk geboren in een reeds bestaande wereld (vooropgestelde taken). Sociale krachten en regels oefenen druk uit op actoren om zich conform te gedragen (zie Durkheim). Bijvoorbeeld: cultuur bestaat onafhankelijk van actoren die worden gesocialiseerd in haar eigen waarden. Constructionist ontology Het constructivisme is een ontologische positie welk zegt dat sociale fenomenen en hun betekenissen onder continue invloed staan van de sociale actoren. Een groep heeft geen leven sui generis. Het impliceert dat sociale fenomenen en categorien niet enkel worden geproduceerd door middel van sociale interactie, maar dat ze ook nog een in een voortdurende staat van revisie staan.

KOM - Bryman |6 Research strategy- quantitative and qualitative Kwantitatief onderzoek kan worden beschouwd als een manier van onderzoek die gebruik maakt van numerieke data om tot een theorie te komen. Centraal staat de datareductie en de generalisatie tot de ruimere doelgroep. Veel voorkomende ontwerpen zijn surveys en experimenten. Kwalitatief onderzoek (bv. interviews of etnografie) kan worden gezien als de methode van het uitvoeren van een onderzoek dat gebruik maakt van vooral alfanumerieke data om tot een gefundeerde conclusie te komen. Gefundeerd betekent hier dat de theorie opborrelt uit de data (cf. Grounded theorie). Deze kwalitatieve methode (die in feite de subjectieve meningen die de actoren hebben wil onderzoeken) heeft aandacht voor wat er tijdens de datareductie verloren gaat. Generalisatie is niet het primaire doel.

KOM - Bryman |7

Influences on the conduct of social research Waarden drukken de persoonlijke standpunten en veronderstellingen uit van een onderzoeker. Dit kan invloed hebben op wat de onderzoeker wilt onderzoeken, hoe hij zijn onderzoeksvragen formuleert, de keuze van de gebruikte methode, Echter moeten onderzoekers zoveel mogelijk waardevrij zijn om het onderzoek niet te vertekenen.

Ook belangrijk zijn de praktische overwegingen. De keuzes van je onderzoeksstrategie, je ontwerp en je methode moeten betrekking hebben op je onderzoeksvraag en je topic. Het onderzoek moet haalbaar zijn, niet enkel qua tijd maar ook in verband met geld en dergelijke meer. Ook het feit of er al voorgaande literatuur is gepubliceerd is belangrijk.

KOM - Bryman |8 Key Points Kwantitatief en kwalitatief onderzoek kennen verschillende benaderingen naar sociaal onderzoek en worden daarbij gekenmerkt door bepaalde ontologische en epistemologische overwegingen. Theorie kan omschreven worden als iets dat afgeleid wordt uit onderzoek (kwalitatief theorien genereren), of dat onderzoek vooraf gaat (kwantitatief theorien toetsen). Epistemologische overwegingen zijn verweven in overwegingen van onderzoeksmethoden. Algemeen genomen lossen ze het probleem op wat betreft het gebruiken van natuurwetenschappelijke modellen (en specifiek: positivisme) of interpretatieve. Ook ontologische overwegingen zijn belangrijk: objectivisme versus constructivisme. Waarden kunnen het onderzoeksproces op verschillende momenten in de tijd benvloeden. Praktische overwegingen met betrekking tot beslissingen in verband met onderzoeksmethoden zijn erg cruciaal. Vrouwelijke onderzoekers prefereren blijkbaar kwalitatief onderzoek, hoewel er klaarblijkelijk bewijs is dat hier een kentering in komt.

KOM - Bryman |9

OnderzoeksontwerpenWhat is a research design? Een onderzoeksontwerp is een structuur of opzet voor het leiden van de datacollectie en de analyse ervan. De keuze qua onderzoeksontwerp geeft de prioriteit weer die gegeven wordt aan een geheel van dimensies betreffende het onderzoeksproces. Een onderzoeksmethode is een techniek voor de collectie van data. Deze kan verschillen: interview, observaties, specifiek instrument... Onderzoeksstrategie (cf. meetniveau bij Statistiek) -> onderzoeksontwerp -> onderzoeksmethode Criteria in social research De betrouwbaarheid of reliability (Zijn mijn metingen/resultaten consistent?) heeft betrekking tot de vraag of de resultaten van een studie herhaalbaar zijn. Het is immers belangrijk dat de metingen consistent zijn over tijd. Een onderzoeker die dezelfde studie als jij uitvoert, via dezelfde methoden en op hetzelfde studiegebied, moet tot dezelfde resultaten komen. De idee van betrouwbaarheid staat zeer dicht bij een ander onderzoekscriterium: replication (replicability). Op een studie moet je kunnen repliceren. Daarvoor moet een onderzoeker zijn methodes en procedures met zorgvuldige nauwkeurigheid bekend maken, zodat anderen dit over kunnen doen/herhalen. Verder, en misschien wel het meest belangrijk, is de validity of geldigheid. Dit heeft betrekking tot de integriteit van de conclusies die gegenereerd zijn uit een deel van een onderzoek en over de kwaliteit van het conceptueel/theoretisch kader. Is dat kader een correcte afspiegeling? Measurement validity of construct validity heeft essentieel gezien te maken met het feit of de maatstaf die je neemt wel echt geldig is voor datgene dat je onderzoekt (Gebruik ik een geldige indicering?). Inhouds- of begripsvaliditeit verwijst naar het feit dat de resultaten weerspiegelen wat er in de theorie wordt beweerd.

K O M - B r y m a n | 10 De interne validiteit (houdt zich vooral bezig met het issue van causaliteit heeft x y veroorzaakt?) verwijst naar de kwestie of de resultaten zinvol zijn. Of mensen ze als waar en realistisch aannemen. De validiteitvraag kan op verschillende domeinen gesteld worden: is de beschrijving van het onderzoeksprobleem accuraat, of het theoretisch kader plausibel of zijn de aanbevelingen correct? De externe validiteit kijkt na of de resultaten ruimer toepasbaar zijn dan de studie die uitgevoerd werd. De ruimere toepasbaarheid kan drie vormen aannemen: generaliseerbaarheid van steekproef naar populatie, analytische generaliseerbaarheid (theoretisch) en case-per-case generaliseerbaarheid. Ecological validity of ecologische geldigheid/validiteit gaat na of de sociaalwetenschappelijke bevindingen toepasbaar zijn op de alledaagse natuurlijksociale setting van de mens, met andere woorden, het dagdagelijkse leven. What is a variable? Een variabele is een attribuut volgens welke zaken variren. Het gaat hier om zaken zoals mensen, steden, huishoudens... als een attribuut niet varieert noemen we het een constante. Afhankelijke variabelen Onafhankelijke variabelen Zijn betrouwbaarheid/herhaalbaarheid kwantitatieve criteria? Deze criteria verbinden we steevast met kwantitatief onderzoek, hoewel sommigen ook anders beweren (of hebben beweerd). De kwalitatieve trustworthiness, vertrouwenswaardigheid, (Lincoln & Guba 1985) is een criterium om te bepalen hoe goed een kwalitatieve studie is: Credibility: parallel van internal validity Transferability: parallel van external validity Dependability: parallel van reliability Confirmability: parallel van objectivity Hammersley (1992) benadrukt ook het belang (relevance) van een studie. Er moet een zekere vorm van contributie zijn aan de literatuur die reeds bestaat in dat onderzoeksdomein.

K O M - B r y m a n | 11

Research questions Onderzoeksvragen moeten duidelijk omschreven en gespecificeerd zijn elk stadium van het onderzoeksproces bestrijken/begeleiden. Zwak geformuleerde vragen leiden tot zwak onderzoek. Onderzoeksvragen zijn cruciaal: Begeleiden je met je onderzoek Begeleiden je in je besluitvorming: welke data/bronnen, van wie, welk soort onderzoek? Begeleiden je tijdens het analyseren en concluderen Houden je op het rechte pad Onderzoeksvragen op kwantitatief niveau zijn meestal meer specifiek dan die op kwalitatief niveau. Hierin komt echter een kentering, er wordt meer focused geformuleerd. Onderzoeksvragen hebben wel een meer open en speculatief karakter dan hypotheses.

K O M - B r y m a n | 12 Experimental design Om de (causale) relatie tussen onafhankelijke en afhankelijke variabelen te funderen. Er wordt 1 variabele constant gehouden, en de anderen veranderen (manipulatie). Dit is zelden gebruikt wegens inefficintie. Een klassiek experimental design heeft meestal twee groepen: de experimental group en de control group. We zijn genteresseerd in de resultaten van de experimental group, want zij krijgen een experimental treatment. De control group dient om vijandige verklaringen van de baan te vegen (to eliminate). Hiervoor moeten de proefpersonen ad random in de control en experimental groups geplaatst worden. Zo garandeert men de internal validity. Vb.: Invloed van videospelletjes. Groep die wel gamet, andere niet. Daarna meet je de agressiviteit bij beide groepen. Onder het experimental design valt het laboratoriumonderzoek. De onderzoeker heeft hier meer invloed op de onderzoeksafspraken en regeling. Daardoor heeft de onderzoeker meer controle en dit bevordert de interne validiteit. Een laboratorium experiment geniet bovendien van experimenteel realisme, dat wil zeggen dat de onderzoekspersonen het onderzoek ernstig nemen. Het onderzoek is echter wel beperkt. Ook de interne validiteit is dit omdat er geen interactie is tussen de onderzoeksplaats en de echte wereld. Verder vormt ook de selectie een probleem: vrijwilligers hebben andere karakteristieken dan niet-vrijwilligers. Dit bedreigt wederom de interne validiteit. Aternatieven voor het laboratory experiment: Field experiment: het echte leven als achtergrond (bv. Box 2.6, Rosenthal & Jacobson (1968) classroom) Quasi-experiments: sommige maar niet alle kenmerken van het experiment genomen in een laboratorium. Deze voldoen niet aan alle vereisten van de interne validiteit. Natural experiment: de studie van sociale veranderingen die sowieso zouden plaatsvinden (bv.: de evaluatie van nieuw sociaal beleid)

K O M - B r y m a n | 13

Bedreigingen van de validiteit voor 3 bovenstaande alternatieven Internal validity: geschiedenis (geen control group), gevoeligheid van de test, administratie van de test, sterfelijkheid/slijtage, rijping, selectie (niet-random) en dubbelzinnige richting van causaliteit External validity: selectie en behandeling, setting en behandeling, geschiedenis en behandeling, reactieve effecten (Weet ik dat ik deelneem aan een onderzoek?) en sensibilisering voor de test. Cross-sectional design Het verzamelen van info van meer dan n zaak om overeenkomsten te vinden (relaties). Meer dan 1 case: men is genteresseerd in variatie (familie, groepen, naties, ) op 1 moment in de tijd Kwantitatieve of kwantificeerbare data met meerdere variabelen Patterns of association: er moeten patronen van verenigbaarheid zijn, men wil relaties bestuderen

Cross-sectional design is wat betreft reliability en measurement validity afhankelijk van de kwaliteit van de metingen. Replicability is afhankelijk van de procedures die een onderzoeker uitvoert. Internal validity is hier zeer zwak, omdat het moeilijk is om een causale richting uit de resultaten te genereren. Merk op dat cross-sectional design ook vaak kwalitatief wordt gebruikt. Soms zijn er nietmanipuleerbare variabelen (om ethische of sociale redenen).

K O M - B r y m a n | 14 Longitudinal designs Wordt niet echt veel gebruikt in sociaal onderzoek, wegens zijn langdurigheid. Het is een onderzoek over dezelfde steekproef op verschillende momenten in de tijd. Dit design is een beetje verschillend wat betreft de reliability, replication en validity, hoewel de verschillende tijdsopnames een meer specifieker causale band kunnen aantonen. Er zijn twee soorten: Panel study: willekeurige selectie (bv.: BHPS) Cohort study: gemeenschappelijke karakteristieken (bv.: geboortedatum) Uit longitudinale ontwerpen kan men causale verbanden afleiden, aangezien men met verschillende tijdstippen werkt (T 1 , T 2 , ). Dit werkt enigszins de ambiguteit van causale invloed weg waarmee cross-sectionele ontwerpen zo dikwijls geplaagd worden. Probleempunten: Attrition (slijtage): bv.: de dood. Panel conditioning: mensen die continu in een onderzoek betrokken worden (participeren) gaan zich anders gedragen. Er is weinig bekend over de beste manier om verdere waves (tijdsopnames) op te nemen. Meestal is een longitudinaal onderzoek slecht voorbereid. Case study designs Gedetailleerde studie van n zaak (bv.: een persoon, een organisatie,...). Case study designs gaan meestal gepaard met kwalitatief onderzoek. De case zelf is zeer belangrijk: hier wordt op gefocused. Andere zaken zoals locatie of setting zijn slechts situering (die niet belangrijk zijn). Verschillende soorten cases: Critical case: hier is er een helder gespecificeerde hypothese. De kernidee is dat de gekozen zaak zal leiden tot een beter begrip van de hypothese. Unique case (oftewel de extreme case): zoals de naam doet vermoeden gaat het hier om een zeldzaam geval dat onderzocht wordt. Revelatory case: wanneer een onderzoeker een zaak kan bestuderen die voorafgaand onmogelijk was om te bestuderen. Exemplifying case (meestal gebruikt): laten de onderzoeker toe voornamelijk sociale processen

K O M - B r y m a n | 15 te evalueren. Case study gaat om intensieve analyse, en wordt geplaatst onder de inductieve methode, omdat de cruciale vraag luidt: Hoe goed heeft de onderzoeker een theorie gegenereerd met behulp van zijn bevindingen?. Tot slot vermelden we nog dat case study design vaak hand in hand gaat met een longitudinaal aspect.

Comparative design Het gebruiken van dezelfde methoden om twee of meer tegengestelde zaken te vergelijken. Dit kan zowel kwalitatief als kwantitatief zijn. Er worden vaak crossculturele vergelijkingen gemaakt. Bevat ook multiple case studies Problemen: Data moet vergelijkbaar zijn in termen van categorie en dataverzamelingsmethoden. Wanneer nieuwe data wordt verzameld mag de nood aan om deze te vergelijken de echte vergelijkbaarheid zelf niet ondermijnen. Steekproeven van respondenten moeten equivalent zijn. Combining research strategy and research design Elk onderzoeksontwerp kan worden uitgevoerd zowel als een kwantitatieve als een kwalitatieve studie (onderzoeksstrategien). Uitzondering: experimental design gebruikt zelden strategien uit het kwalitatief onderzoek.

K O M - B r y m a n | 16 Key Points Er is een belangrijk verschil tussen onderzoeksmethoden en onderzoeksontwerpen. Belangrijk zijn de technische termen die we als criteria gebruiken om onderzoek te evalueren: reliability (betrouwbaarheid), validity en replicability (repliceerbaarheid). Validity deelt zich verder op in measurement, internal, external en ecological. Er zijn vijf grote onderzoeksontwerpen. Merk op dat de term experiment hier een zeer technische betekenis heeft. Er zijn verscheidene potentile bedreigingen voor de interne validiteit (geldigheid) in nietexperimenteel onderzoek. Hoewel de case study vaak vergeleken wordt met een enkel type van onderzoeksontwerp, zijn er in feite verschillende vormen. We moeten ook op de hoogte zijn van de sleutelkwesties inherent aan de natuur van case study bewijs met betrekking tot de kwesties zoals external validity (generaliseerbaarheid).

K O M - B r y m a n | 17

The Nature of Quantitative ResearchThe stages of quantitative researchThe stages of quantitative research Theory/hypothesis Research design Devise measures of concepts Select site and sample Collect data Code and analyse data Write upSee pages 140-141

Theorie (we werken dus deductief)/Hypothese (= aanvoelen van een samenhang met de werkelijkheid) Onderzoeksontwerp (research design): de keuze van het onderzoeksontwerp heeft implicaties op verschillende kwesties (issues), bijvoorbeeld de external validity van de bevindingen en de mogelijkheid voor de onderzoeker om causale verbanden te implementeren. Metingen voor de concepten bedenken (operationaliseren) Onderzoeksgebied en steekproef bepalen Dataverzameling en het beheren van de onderzoeksinstrumenten Coderen en analyseren = transformatie van informatie in gegevens (bv. coderen) Concluderen en het neerschrijven van de conclusies Concepts and their measurements We kunnen een distinctie maken tussen metingen en indicatoren. Concepten moeten gemeten worden (metingen zijn kwantitatief) Metingen: Omlijnen kleine verschillen tussen mensen/klassen (die meestal moeilijk te herkennen zijn) houden. Consistent en betrouwbaar Meer precieze schattingen over de graad van verbondenheid tussen concepten

Concepts and their measurement concepts = categories for the organisation of ideas and observations (Bulmer, 1984: 43) may provide explanations of social phenomena may represent things we want to explain measurements delineate fine differences between people/cases consistent and reliable more precise estimates of the degree of relatedness between conceptsSee page 143

Indicators of concepts

Indicators of concepts produced by the operational definition of a concept less directly quantifiable than measures common sense understandings of the form a concept might take multiple-indicator measures concept may have different dimensions

See page 144

komen voort uit de operational definitions worden gebruikt om concepten te meten die niet door middel van getallen kunnen worden weergegeven (of die toch zeker minder direct kwantificeerbaar zijn). Directe indicatoren: directe relatie met het concept (bv. loonhoogte is een directe indicator voor het inkomen) Indirecte indicatoren: indirecte relatie met het concept (bv. Loonhoogte is geen directe indicator voor het welzijn). Ook houdingen en gedrag worden door een batterij van indirecte indicatoren gemeten.

K O M - B r y m a n | 18 Reliability

Reliability Stability over time test-retest method (correlation between measure on dif f erent occasions)

Internal reliability split-half method (correlation between measures on two halves of a scale) Cronbachs alpha

Inter-observer consistency agreement between dif f erent researchers

See pages 149-150

Verwijst naar de consistentie van een meting. Drie factoren/betekenissen inherent aan betrouwbaarheid: Stabiliteit: vraagt zich af of de meting stabiel is in de tijd Test-retest methode: onderzoekt het verband tussen metingen: men test de correlatie tussen de metingen. Vb.: Je test iets en even later opnieuw. Indien de correlatie laag is, is de meting onstabiel en onbetrouwbaar. Interne betrouwbaarheid: de scores van n indicator moeten gelijkaardig zijn aan de scores van andere indicatoren Split-half methode: correlatie tussen metingen op twee helften van een schaal Cronbachs alpha: berekent het gemiddelde van alle mogelijke split-half reliability cofficinten. Inter-observer consistentie: overeenkomst tussen verschillende onderzoekers. Er moet een overeenkomst zijn tussen de onderzoekers over de criteria, het plaatsen in categorien, etc Validity Validiteit van metingen: is de meting van het concept echt wel een meting van het concept? Face validity: of een meting duidelijk het onderwerp van het concept weerspiegelt (erg intutief). Concurrent validity: de onderzoeker stelt een criterium op over iets waarvan we weten dat cases zullen verschillen (en die relevant zijn tot het concept!). Predictive validity: de onderzoeker gebruikt een toekomstig criterium in plaats van een hedendaags. Construct validity: de onderzeker leidt een hypothese af uit een tot het concept relevante theorie. Convergent validity: vergelijkingen met andere metingen uit ander onderzoek. Validiteit veronderstelt betrouwbaarheid (maar niet vice versa). Een meting die niet betrouwbaar (die bv. niet stabiel is in de tijd) is, kan ook niet geldig zijn.

Validity Measurement validity: Face validity Concurrent validity Predictive validity Construct validity Convergent validity

Validity presupposes reliability (but not vice versa)See pages 151-155

K O M - B r y m a n | 19The main preoccupations of quantitative researchers 1. Measurement can a concept be quantified? comparisons between measures changes in a variable over time 2. Causality explanations of social phenomena causal relationships between independent and dependent variables inference only in cross-sectional designs

The main preoccupations of quantitative researchers 1. Meetbaarheid (measurement) Kan een concept gekwantificeerd worden? Vergelijkingen tussen metingen De veranderingen van een variabele over de tijd 2. Causaliteit (causality) Kwantitatieve onderzoekers willen de dingen omschrijven zoals ze zijn, maar willen tevens ook verklaren waarom de dingen zo zijn (verklaren). Ze willen steeds op zoek gaan naar causale verbanden tussen afhankelijke en onafhankelijke variabelen aanvaardbare interne validiteit door correcte causale verbanden Zijn mijn resultaten zinvol?). Gevolgtrekking (inference) enkel in crosssectionele ontwerpen 3. Generaliseerbaarheid/veralgemeenbaarheid (generalization) Kunnen de resultaten worden toegepast op individuen buiten de steekproef? Streven naar generaliseren van de gehele populatie. Vraagt om een representatieve steekproef (ad random) 4. Herhaalbaarheid (replication) Gedetailleerde beschrijvingen van procedures staan andere onderzoekers toe de studie te herhalen. Zo kunnen we ook zien of de waarden van de onderzoeker niet de scepter gezwaaid hebben (bv.: gebrek aan objectiviteit door vooroordelen) Lage weerslag van gepubliceerde herhalingen Cristicisms of quantitative research De onmogelijkheid om objecten in de natuurlijke wereld te onderscheiden van sociale fenomenen. Artrificile en nagemaakte precisie en nauwkeurigheid. Er is een verondersteld verband tussen de keuze van de meting en het concept De metingen die gebruikt worden om o.a. de geldigheid van een meting te bepalen, zijn gebaseerd op een goedkeuring (maar zijn ze wel correct?) Cicourel (1964): metingen door toestemming

See pages 155-156

The main preoccupations of quantitative researchers 3. Generalization can the results be applied to individuals beyond the sample? aim to generalize to target population requires representative sample (random, probability sample)

4. Replication detailed description of procedures allows other researchers to replicate study low incidence of published replications

See pages 156-158

Criticisms of quantitative research failure to distinguish between objects in the natural world and social phenomena artificial and spurious sense of precision and accuracy presumed connection between concepts and measures Cicourel (1964) measurement by fiat respondents make different interpretations of questions and other research toolsSee page 159

K O M - B r y m a n | 20 Proefpersonen kunnen de vragen van zelfinvullijsten anders interpreteren. Er kan ook ander onderzoeksgereedschap gebruikt worden. Kwantitatief onderzoek verliest aan ecologische validiteit doordat het vertrouwen in instrumenten en procedures de band met het dagelijkse leven in de weg staat. Vertrouwen in instrumenten en metingen Kleine relevantie/toepasselijkheid met het dagdagelijkse leven van participanten Variatie in de betekenis van concepten voor ieder individu (zie boven) De analyse van de relatie tussen variabelen leidt tot vrij statistische gegevens Verbanden tussen variabelen Negeert processen van menselijke definitie en interpretatie (Blumer, 1956). We kunnen niet weten of de relaties tussen variabelen door de mens zelf geproduceerd zijn (Does it apply to themselves?). Is it always like this? Kwantitatief onderzoeksontwerpen zijn ideaaltypische benaderingen Bruikbaar als gids voor goed gebruik (meer een generale tendens dan een strikte definitie van hoe het moet) Er is een tegenstrijdigheid of discrepantie tussen het ideaaltypische en actuele toepassing van sociaal onderzoek Pragmatische bezorgdheid betekent dat onderzoekers zich niet altijd vast houden aan deze principes Reverse operationism Bryman (1988) Kwantitatief onderzoek is meestal deductief Operationele definitie van concepten Maar metingen kunnen soms leiden tot inductie Voorbeeld: factor analysis Groepen van indicatoren vormen samen een cluster en veronderstellen een gemeenschappelijke factor. Vb.: onderzoek van persoonlijkheidstrekjes

Criticisms of quantitative research lack of ecological validity reliance on instruments and measurements little relevance to participants everyday lives variation in the meaning of concepts to each individual

static view of social life relationships between variables ignores processes of human definition and interpretation (Blumer, 1956)

See page 160

Is it always like this? quantitative research design is an ideal-typical approach useful as a guide of good practice but discrepancy between ideal type and actual practice of social research pragmatic concerns mean that researchers may not adhere rigidly to these principles

See page 160

Reverse operationismBryman (1988) quantitative research is usually deductive (operational definition of concepts) but measurements can sometimes lead to inductive theorising example: factor analysis groups of indicators cluster together and suggest a common factor e.g. personality trait researchSee page 160

K O M - B r y m a n | 21 Reliability and validity testing

Reliability and validity testing published accounts of quantitative research rarely report evidence of reliability and validity (Podsakoff & Dalton, 1987) researchers are primarily interested in the substantive content and findings of their research running tests of reliability and validity may seem an unappealing alternative! but researchers remain committed to the principles of good practice

See pages 161-162

Een tweede reden waarom er zon groot gat is tussen het ideaaltype en het feitelijke onderzoek is dat onderzoekers zich meestal niet houden aan de articulatie van de manier waarop de betrouwbaarheid en validiteit van de meting gebaseerd moet worden. Onderzoekers zijn vooral genteresseerd naar aanzienlijke kwesties. Dit betekent niet dat de metingen onstabiel en betrouwbaar zijn, we weten het gewoon niet. Het is dan ook erg onaantrekkelijk om tests omtrent betrouwbaarheid en validiteit te doen (dit kost trouwens ook geld en tijd). Toch kunnen we met zekerheid stellen dat de onderzoekers zich aan de basisprincipes houden van de juiste methodes en procedures. Key Points Kwantitatief onderzoek kan gekarakteriseerd worden als een lineair proces van theorie naar conclusie. Het proces dat beschreven wordt in 3.1 is een ideaaltype van waaruit vele verschillende mogelijkheden vertrekken. Het metingsproces in kwantitatief onderzoek begint met het zoeken naar indicatoren. Betrouwbaarheid en validiteit garanderen is belangrijk voor de beoordeling van de uiteindelijke kwaliteit. Kwantitatief onderzoek kan gekarakteriseerd worden als het rekenschap geven aan enkele belangrijke zaken (de hoofdzorgen): meting; causaliteit; veralgemening en replicatie/repliceerbaarheid. Kwantitatief onderzoek kreeg vele verwijten van kwalitatieve onderzoekers. Deze kritieken gaan om het feit dat een natuurwetenschappelijk model niet geschikt is om de sociale wereld te bestuderen.

K O M - B r y m a n | 22

SamplingIntroduction to Survey Research De bedoeling is om de steekproef te veralgemenen tot de gehele populatie. Er is een duidelijk onderscheid tussen de populatie en de steekproef, welke slechts een deel uitmaakt van de populatie. Probability sample: elke eenheid heeft een zekere kans om geselecteerd te worden. Tellingen (zie census): data die verzameld zijn vanuit de gehele populatie (cf. volkstellingen).

Enkele kernbegrippen:

Introduction to sampling population: the universe of units from which the sample is to be selected sample: the segment of population that is selected for investigation sampling frame: list of all units representative sample: a sample that reflects the population accurately sample bias: distortion in the representativeness of the sampleSee pages 168-169

Populatie: De gehele verzameling van eenheden waaruit de steekproef is samengesteld (N). Uit deze groep wil je n of meerdere variabelen onderzoeken. Sample: De geselecteerde steekproef van eenheden (n) Sampling fraction: n/N Steekproefkader: (= sampling frame) Het opstellen van een lijst waaruit je dan de steekproef zal selecteren. Representatieve steekproef: Steekproef die de populatie accuraat weergeeft als een soort microkosmos. Probability sample/kanssteekproef: Een aselect gekozen steekproef zoadat elke eenheid evenveel kans maakt om te worden geselecteerd (= EAS). Non-probability sample: (= niet-kanssteekproef) Select gekozen steekproef. Sampling error: (= steekproefafwijking) Het verschil of de discrepantie tussen de geselecteerde steekproef en de populatie. Non-sampling error: Fout die ontstaat door een inadequate steekproef of non-respons: wanneer een individu weigert deel te nemen, niet contacteerbaar is of de vereiste informatie niet kan verschaffen. Dit maakt generaliseerbaarheid moeilijk. Census: De gecollecteerde data van de hele populatie.

Introduction to sampling probability sample: sample selected using random selection Non-probability sample: sample selected not using random selection method sampling error: difference between sample and population Non-sampling error: findings of research into difference between sample and population Non-response: when members of sample are unable or refuse to take part census: data collected from entire population

See pages 168-169

K O M - B r y m a n | 23 Sampling error

Sampling error difference between sample and population biased sample does not represent population some groups are over-represented; others are underrepresented

sources of bias non-probability sampling, inadequate sample frame,non-response

probability sampling reduces sampling error and allows for inferential statistics

See page 170

Types of probability sample(each unit has a known chance of selection)

Er is een verschil tussen een populatie en een steekproef. De populatie (N) is een gehele groep waaruit de steekproef (n) slechts een gedeelte is. Als je steekproef niet representatief is, mogen we geen conclusies trekken voor de gehele populatie. Sommige groepen zijn namelijk oververtegenwoordigd, anderen zijn ondervertegenwoordigd. Sources of bias: (bronnen van mogelijke fouten) non-probability sample (zie boven) inadequate sample frame (zie boven) non-response (zie boven) Belangrijk: Probability sampling vermindert de kans op een potentile fout! Types of probability sample Elke eenheid heeft een zekere kans om te worden geselecteerd. 1) Simple random sample: eenvoudige aselecte steekproef elke eenheid heeft een gelijke kans op selectie sampling fraction: n/N een lijst opstellen met alle elementen en hen een nummer geven aselecte selectie uit de nummers bijna geen kans op menselijke bias 2) Systematic sample: systematische steekproef onmiddelijk selecteren van eenheden uit de steekproef (uit de sampling frame) vanuit een aselect gekozen startpunt, kies je elke nde eenheid (vb: elke vierde naam), en dan ga je verder (de 8ste, de 12e, de 16e, ) waarborg dat de steekproef geen inherente ordening heeft 3) Stratified random sample: hirarchisch opgebouwde aselecte steekproef (= gestratificeerde steekproef) Proportionele representativiteit (vertegenwoordiging) van elk stratum deel elke populatie op volgens geschikte criteria (strata) aselecte selectie binnen elk stratum (bv. mannen en vrouwen, en binnenin die groepen terug EAS).

1. Simple random sample every unit has an equal probability of selection sampling fraction: n/N where n = sample size and N = population size list all units and number them consecutively use random numbers table to select units

See pages 171-172

Types of probability sample 2. Systematic sample select units directly f rom sampling f rame f rom a random starting point, choose every nth unit (e.g. every 4th name) ensure sampling f rame has no inherent ordering

3. Stratified random sample proportionately representative of each stratum stratif y population by appropriate criteria randomly select within each category

See pages 172-173

K O M - B r y m a n | 24

Types of probability sample 4. Multi-stage cluster sample useful for widely dispersed populations divide population into groups (clusters) of units can sample sub-clusters from clusters randomly select units from each (sub)cluster collect data from each cluster of units, consecutively

4) Muti-stage cluster sample: clustersteekproef (met twee of meerdere niveaus) Bruikbaar voor wijd verspreide populaties (grote dispersie) De populatie wordt opgedeeld in groepen (clusters) Opmaken van sub-clusters Aselect selecteren van eenheden uit iedere (sub)cluster Verzamelen van informatie van elke cluster

See page 175

The qualities of a probability sample

Qualities of a probability sample representative - allows for generalization from sample to population inferential statistical tests sample means can be used to estimate population means standard error (SE): estimate of discrepancy between sample mean and population mean 95% sample means fall between +/- 1.96 SE from population meanSee page 177

Het is representatief laat veralgemening van de steekproef naar de populatie toe Afleidbare statistische tests Steekproefgemiddelden kunnen gebruikt worden om populatie gemiddelden te schatten. Het steekproefgemiddelde is namelijk een onvertekende en zuivere schatter. Standaardafwijking 9 (SE Standard Error): een schatting van de tegenstrijdigheid (discrepantie) tussen het steekproef- en het populatiegemiddelde 95 % van de steekproefgemiddelden valt tussen [: 1.96 SE] . Dit is afgeleid van de normale verdeling, hier gaan we verder niet op in.

K O M - B r y m a n | 25

Sample size

Sample size absolute size matters more than relative size the larger the sample, the more precise and representative it is likely to be as sample size increases, sampling error decreases important to be honest about the limitations of your sample

See page 179

De absolute grootte is van groter belang dan relatieve grootte. Hoe groter de steekproef, hoe preciezer en representatiever ze moet zijn. Als de steekproef toeneemt, neemt de standaardafwijking af. Beperkingen van de steekproef mogen niet uit het oog worden verloren en dienen eerlijk vermeld te worden in het onderzoek

Als er moeilijkheden zijn bij je onderzoek moet men deze altijd uitleggen Factoren die de steekproefgrootte benvloeden:

Factors affecting sample size Time and cost af ter a certain point (n=1000), increasing sample size produces less noticeable gains in precision very large samples are decreasingly cost-ef f icient (Hazelrigg, 2004)

Non-response response rate = % of sample who agree to participate (or % who provide usable data) responders and non-responders may dif f er on a crucial variable

See page 180

Tijd en kosten Na een bepaald criterium (n = 1000) merken we minder en minder aanwinsten in onze precisie (een degressieve stijging van de precisieaanwinst (i.p.v. progressief)) Grote steekproeven zijn tijdrovend en zijn steeds minder en minder rendabel Non-response Response rate= % van de steekproef dat wel deelneemt of tenminste nuttige data kan geven (Box 4.5 What is a response rate?) Participanten en niet-participanten kunnen verschillen op een bepalende variabele: dit zorgt voor vertekening.

K O M - B r y m a n | 26 Heterogeniteit van de populatie Hoe gevarieerder de populatie, hoe groter de steekpoef moet zijn Welke soort analyse moet gebruikt worden? Sommige technieken vereisen een grotere steekproef dan andere

Factors affecting sample size Heterogeneity of the population the more varied the population is, the larger the sample will have to be

Kind of analysis to be carried out some techniques require large sample (e.g. contingency table; inferential statistics)

See page 182

Types of non-probability sampling

Types of non-probability sampling 1. Convenience/opportunity sampling the most easily accessible individuals usef ul when piloting a research instrument may be a chance to collect data that is too good to miss

2. Snowball sampling researcher makes initial contact with a small group these inf ormants lead you to others in their network usef ul f or qualitative studies of deviant groups e.g. Becker (1963) marijuana users

Non-probability sampling is een parapluterm voor verschillende soorten steekproeven, die niet volgens de EAS-logica worden opgebouwd. We zullen zien dat sommige onderzoekers de quota-steekproef als even efficint zullen bestempelen als een gewone EAS. Convenience/opportunity sample De individuen die het makkelijkst beschikbaar zijn worden geselecteerd Er is een kans dat je zo data mist die eigenlijk essentieel is voor je onderzoek Snowball sample De onderzoeker maakt initile contacten met een kleine groep Deze mensen leiden de onderzoeker naar andere mensen in hun netwerk Bruikbaar voor kwalitatieve studies over deviante groepen (men blijft in het milieu) Quota sampling Veel gebruikt in marktonderzoek en opiniepeilingen Relatief goedkoop, snel en makkelijk te organiseren Proportionele representativiteit voor de sociale categorien van een populatie (de zogenaamde strata) Interviewers selecteren mensen in de strata: dit gebeurt dus niet ad random. Bias op basis van mensen die bv. vriendelijk lijken op straat, hier gaat men sneller op af. Bias op basis van minder toegankelijke mensen (die minder op straat komen, ver weg wonen,

See pages 183-184

Types of non-probability sampling 3. Quota sampling often used in market research and opinion polls relatively cheap, quick and easy to manage proportionately representative of a populations social categories (strata) but non-random sampling of each stratums units interviewers select people to fit their quota for each category sample biased towards those who appear friendly and accessible (e.g. in the street) under-representation of less accessible groupsSee page 185

K O M - B r y m a n | 27 Limits to generalization

Limits to generalization findings can only be generalized to the population from which the sample was selected be wary of over-generalizing in terms of locality

time, historical events and cohort effects results may no longer be relevant and so require updating (replication)

See page 187

Bevindingen kunnen enkel veralgemeend worden naar de populatie van dewelke de steekproef geselecteerd was. Men mag dus geen conclusies trekken over Nederland als de steekproef volledig uit Belgen bestaat (en terecht). Tijd, historische gebeurtenissen en cohort-effecten (zie beneden): resultaten kunnen mogelijk niet langer relevant zijn, en moeten dus regelmatig updated worden. Daarvoor is een essentieel kenmerk van kwantitatief onderzoek nodig: de repliceerbaarheid. Een andere onderzoeker met jouw onderzoek perfect kunnen nadoen. Error in survey research Sampling error: onvermijdelijk verschil tussen steekproef en populatie Sampling-related error: Inadequate steekproef, nonresponse; maakt het moeilijk om dingen te veralgemenen Data collection error: implementatie van onderzoeksinstrumenten (bv. een slechte verwoording bij zelf-invullijsten) Data processing error: foutief beheer en verkeerde verwerking van data

Error in survey research sampling error unavoidable dif ference between sample and population

sampling-related error inadequate sampling f rame; non-response makes it dif f icult to generalize f indings

data collection error implementation of research instruments e.g. poor question wording in surveys

data processing error f aulty management of data, e.g. coding errors See page 188

Key Points Kanssteekproeven zijn mechanismen om bias te reduceren bij de selectie van steekproefelementen. Zorg ervoor dat je bekend geraakt met sleutelwoorden zoals representative sample, random sample, non-response, population, sampling error, etc. Ad random selectie is belangrijk want ze laten veralgemeningen toe naar de populatie en ze hebben bepaalde kwaliteiten. Afwijkingen verminderen naar gelang de steekproefgrootte toeneemt. In een bepaald opzicht kunnen quota-steekproeven een alternatief zijn voor random samples, maar toch lijden ze aan bepaalde kwaaltjes. Convenience samples kunnen interessante data opleveren, maar we moeten ons ervan gewaar zijn dat ze gelimiteerd zijn wat betreft generaliseerbaarheid. Sampling errors en sampling-related errors zijn slechts twee bronnen van fouten in social survey research.

K O M - B r y m a n | 28

Structured interviewingWhat is a structured interview?)

What is a structured interview? useful tool of quantitative research often used in social surveys standardized interview schedule each interviewee gets the same questions, in the same way, in the same order closed, pre-coded or fixed choice questions minimises variation between interviews

See page 193

Is zeer bruikbaar bij kwantitatief onderzoek Wordt vaak gebruikt in sociaal onderzoek Het beschikt over een gestandaardiseerd interviewschema Waarbij elke respondent dezelfde vragen krijgt, in dezelfde volgorde en op dezelfde manier (m.a.w., exact dezelfde context). Het soort vragen dat de respondent voorgeschoteld krijgt noemen we (meer namen voor hetzelfde): Closed questions, Pre-coded questions, Fixed choice questions, Closed ended questions Het gestructureerd interview minimaliseert de variatie tussen interviews.

Advantages of structured interviewing1. Reduces error due to interviewer variability dif f erences in responses are due to true variation, not inconsistencies in the conduct of interviews potential sources of error are reduced by standardization (question wording, memory, misunderstanding) reduces intra-interviewer and inter-interviewer variability greater validity of data?

Let op: variatie = de werkelijke variatie + de variatie door fouten Voordelen bij gestructureerd interviewen 1) Het verkleint de kans op een fout wegens de veranderlijkheid/variatie van de interviewer Verschillen in respons/antwoorden dragen bij tot de echte variatie Variatie = echte variatie + variatie door fouten Potentile bronnen van fouten zijn gereduceerd door standaardisatie (Verwoording, Geheugen, Verkeerd) verstaan Reduceert intra- en inter-interviewer variabiliteit (= veranderlijkheid) Intra-interviewer variabiliteit: een interviewer is niet consistent in de manier waarop hij of zij vragen stelt, en hij of zij informatie opneemt. Inter-interviewer variabiliteit: wanneer er twee of meer interviewers zijn, en ze verschillen in de manier waarop ze beiden de vragen stellen en de informatie opnemen (hoewel ze zelf wel consistent zijn in hun methoden). Grotere validiteit/geldigheid van de data?

See page 194

K O M - B r y m a n | 29

Advantages of structured interviewing2. Accuracy and ease of data processing closed ended, pre-coded or fixed choice questions (limited choice of possible answers) interviewer does not interpret responses before recording them standardized coding frame reduces variability in coding procedure reduces intra-coder and inter-coder variability

2) Accuraatheid en het gemak van de dataverwerking Closed question, closed ended question, precoded question, fixed choice question De interviewer interpreteert antwoorden niet voor hij deze volledig heeft opgenomen. Gestandaardiseerd codeerframe reduceert de variabiliteit bij de codeerprocedure Reduceert intra-coder en inter-coder variabiliteit Closed question: Een gelimiteerd aantal mogelijke antwoorden is gegeven aan de respondent, waaruit deze een keuze kan maken. Open question of open-ended question: De respondent krijgt een vrijheid in het antwoorden op vragen. Wat? Hoe?... Intra-coder variability: de codeermethode varieert

See page 195

K O M - B r y m a n | 30 wat betreft de toewijzing van antwoorden in categorien over de tijd Inter-coder variability: de coders verschillen onderling bij het toewijzen van codes en de analyse ervan Interview contexts

Interview contexts more than one interviewee group interviews; f ocus groups

more than one interviewer in person or by telephone? computer-assisted personal interviewing (CAPI) and telephone interviewing (CATI) more efficient filtering of questions immediate data entrySee page 197

Er kan meer dan n genterviewde zijn (bv. group interviews, focus groups). Interviews in groep zijn daar een bijvoorbeeld van. Er kan ook meer dan n interviewer aanwezig zijn. Persoonlijk interview versus telefonisch interview. CAPI (computer-assisted personal interviewing) en CATI (computer-assisted telephone interviewing) meer efficint in het filtreren van vragen directe data-input Telefonisch interviewen Telefonisch interviewen is goedkoper (geen reisonkosten) en verloopt vlot. Het is makkelijker te doen en te evalueren, maar kan ook enkele problemen met zich meebrengen. Enkele nadelen: Sommige mensen beschikken niet over een telefoon, en kunnen dus ook niet bereikt worden op deze manier. Je kan niet zoveel tijd innemen ten opzichte van iemand die je letterlijk bevraagt (max. 20-25 minuten). De interviewer kan niet reageren op nonverbale tekens die kunnen weergeven dat de respondent een vraag niet begrijpt (confusion). Deze manier is minder bevredigend dan een persoonlijk interview voor de genterviewde (asociaal). Als een respondent hoorproblemen heeft is het ook vanzelfsprekend niet aangenaam voor de genterviewde en kan vertekening zich voordoen. Algemeen wordt aangenomen dat er een iets lagere antwoordratio is bij telefonisch interviewen. Bij telefonische interviews worden minder vragen gesteld rond onderwerpen die moeilijk liggen (vb. druggebruik). Er is vastgesteld door Holbrook dat de kwaliteit van data iets lager is bij

Telephone interviewing quicker and cheaper (no travel required) easier to monitor/evaluate reduces interviewer effect (no non -verbal cues) problems: some people do not own a telephone, are not contactable or See pages 198-199 are ex-directory limited time and rapport? cannot respond to non-verbal signs of conf usion less satisf ying experience f or interviewee

K O M - B r y m a n | 31 telefonische interviews. Zo wordt er bijvoorbeeld meer dont know geselecteerd (ook al zijn de vragen dezelfde) Conducting structured interviews

Conducting structured interviews know your way around the schedule introduce the research spoken or written rationale identif y yourself , your employer, purposes of research and procedure of interview ethical issues: anonymity, conf identiality, right to withdraw opportunity f or interviewee to ask questions

See page 200

Conducting structured interviews building rapport can be dif ficult if limited time and little opportunity f or discussion (closed questions)

asking questions keep to the schedule: even small variations in wording can af f ect responses

recording answers write exact words used by interviewee, or use f ixed choice questions

See pages 201-202

Conducting structured interviews clear instructions some questions are not relevant to every interviewee f ilter questions help interviewer navigate the schedule

question order every interviewee must get questions in the same order general questions bef ore specif ic questions earlier questions may af f ect salience of later ones f irst questions should be directly related to the topic potentially embarrassing or sensitive questions towards the end See pages 202-203

Het is belangrijk dat je weet hoe je je interview hebt opgesteld, en hoe het zal verlopen. Ken je schema/structuur vanbinnen en vanbuiten! Introduceer je onderzoek Is het een mondeling of een schriftelijk interview? Vertel wie je bent, wie je assistent is... Leg uit wat je verwachtingen zijn omtrent het interview. Leg de ethische kwesties uit: anonimiteit, vertrouwelijkheid, de kans om eruit te stappen, Geef de respondent de mogelijkheid om vragen te stellen, opmerkingen te maken, Het is belangrijk op korte termijn een vertrouwen te stellen in de relatie interviewer ~ respondent (to achieve rapport with the respondent). Maar dit is moeilijk wegens tijdsgebrek. Vooral bij gesloten vragen is dit nog moeilijker. Het stellen van de vragen Probeer je aan het schema te houden, elke kleine afwijking (bv. In je verwoording) kan de antwoorden benvloeden. Het opnemen van de antwoorden Schrijf de exact gebruikte woorden van de respondent op, of gebruik aanduidantwoorden (fixed choice questions). Duidelijke instructies proberen te geven Sommige vragen zijn niet relevant voor elke respondent. Filtreer die vragen dan en help hem met het schema. De volgorde waarin je de vragen stelt Elke respondent moet de vragen krijgen in dezelfde volgorde, en je moet algemene vragen stellen voor de specifieke vragen. De eerste vragen kunnen de nog komende vragen benvloeden (salience). Zorg dat je eerste vragen direct gerelateerd zijn met het onderwerp van het interview. Houd mogelijke gnante of gevoelige vragen tot op het einde van het interview.

K O M - B r y m a n | 32 Proben/Peilen Wanneer de respondent de vraag niet begrijpt, of een antwoord geeft dat onduidelijk is of niet met de vraag te maken heeft (insufficient), kan je peilen naar meer informatie door bijvoorbeeld mmm?, Kan je iets concreter zijn? te zeggen/vragen. Je kan ook nogmaals de mogelijke antwoorden herhalen (fixed choice alternatives). Promting/Hints geven De interviewer stelt mogelijke antwoorden voor, of laat een lijst zien met mogelijke antwoorden. Leaving the interview Het is belangrijk de respondent te bedanken voor de tijd en moeite. De debriefing achteraf moet minimaal zijn (kan anders leiden tot bias). Training and supervision Als de interviewer meerdere interviewers aanstelt, is het belangrijk dat ze allemaal dezelfde kennis delen over het onderzoek, en dat ze allen dezelfde technieken en volgorde van vragen stellen hanteren (hetzelfde schema/schedule). Ook qua beoordeling moeten zij voldoende opgeleid zijn: het onderzoeken van de verzamelde data, het terugbellen naar respondenten, Problems with structured interviewing characteristics of interviewers gender, age, ethnicity, class (rapport) can evoke socially desirable responses

Conducting structured interviews probing when respondent does not understand question or gives insuf f icient answer non-directive probes: mmm, can you say a bit more about that? repeat f ixed choice alternatives

prompting interviewer suggests possible answers show cards

See pages 206-207

Conducting structured interviews leaving the interview thank the interviewee debrief ing should be minimal

training and supervision if researcher hires interviewer(s) ensure that interviewers know the schedule and f ollow standardized procedures assessment: examine completed f orms, tape record a sample of interviews, call-backs to respondents

See page 209

Problems with structured interviewingTen eerste kan het zijn dat de karakteristieken (leeftijd, geslacht, etniciteit, ) van de interviewer de antwoorden van de respondenten benvloeden. Dit is echter niet voldoende bewezen. Mensen kunnen op een consistente maar irrelevante manier antwoorden: Acquiescence: instemmen of niet akkoord gaan met alle vragen. Om dit tegen te gaan kan de onderzoeker de vragen zo stellen dat men bij dezelfde gedachten tegengesteld moet antwoorden. Sociale wenselijkheid

response sets people may respond in consistent but irrelevant ways: 1. Acquiescence (agreeing or disagreeing to all questions) 2. Social desirability (interviewees ref lect on the way their answers might be perceived)

See page 210

K O M - B r y m a n | 33 Problems of meaning (interprevist critique) De interviewer en de respondent kunnen beiden een verschillende mening hebben over bepaalde concepten. De betekenis is niet op voorhand gegeven maar wordt meestal geconstrueerd tijdens het interview. Het kan dan zijn dat de ondervragers en de genterviewde gedeelde meanings bespreken: het interview als sociale ontmoeting. Het probleem van betekenis kan opgelost worden door het te negeren. The feminist critique (Oakley, 1981) Dit is een kritiek geformuleerd door vrouwelijke/feministische onderzoeksters. Gestructureerde interviews zouden de ongelijkheid tussen interviewer en genterviewde belichamen. De interviewer neemt namelijk informatie van de passieve respondent en geeft niets in de plaats. Dit is zuivere exploitatie, en dat willen we tegengaan. Het alternatief is dan een niet-hirarchische relatie op basis van wederkerigheid en empathie (bv. non-structured interviews). De waarden en de persoonlijke betrokkenheid van de onderzoeker zijn namelijk een sterkte, geen zwakte.

Problems with structured interviewing the problem of meaning interpretivist critique interviewer and respondent may not attribute the same meanings to concepts the meaning of questions is not pre-given but rather constructed in the interview interviewer and interviewee negotiate shared meanings: the interview as a social encounter

See page 211

Problems with structured interviewing the feminist critique (Oakley, 1981) structured interview epitomizes the imbalance of power between researcher and informant interviewer extracts information from passive respondent and gives nothing in return alternative of non-hierarchical relationship based on reciprocity and empathy (unstructured interviews) researchers values and personal involvement are a strength, not a weakness political empowerment of research participantsSee page 211-212

K O M - B r y m a n | 34 Key Points Het gestructureerd interview is een onderzoeksinstrument dat gebruikt wordt om het vragen en vaak ook het vastleggen van antwoorden te standaardiseren, met de bedoeling om de interviewer-gerelateerde fouten te beperken tot een strikt minimum. Men kan dit doen op twee manieren: face-toface of via telefoon. Het is belangrijk dat men steeds dezelfde verwoording gebruikt en dezelfde volgorde der vragen behoudt wanneer men een gestructureerd interview afneemt bij sociaal onderzoek. Hoewel er bewijs is dat de karakteristieken van de interviewer op een zekere manier de antwoorden van de respondenten kan benvloeden, is dit bewijs toch niet voldoende. Antwoordsets kunnen beschadigend optreden voor data die afkomstig zijn van structured interviews en de stappen die nodig zijn om de respondenten te identificeren die ze tentoonstellen. Het gestructureerd interview symboliseert die karakteristieken van kwantitatief onderzoek die feministische onderzoekers niet correct vinden. In het bijzonder het gebrek aan wederkerigheid en de exploitatie.

K O M - B r y m a n | 35

Self-completion questionnairesWhat is a self-completion questionnaire (S.C.Q.)? also called a self-administered questionnaire no interviewer present respondent writes answers on form returned to researcher or deposited for collection usually postal questionnaires can be distributed in person or by email

Self-completion questionaire (SCQ) De zelf-invullijst wordt ook self-administered questionnaire genoemd. Er is bij deze vorm van interviewen geen interviewer De respondent noteert de antwoorden op een formulier. De respondent bezorgt de antwoorden terug aan de interviewer, of dropt ze op een daarvoor voorziene plaats. Meestal over postal questionnaires Kan persoonlijk of over via mail verstuurd worden Evaluating SCQ and structured interviews Zelf-invullijsten zijn korter en makkelijker te volgen, en werken met minder open-ended vragen. Enkele voordelen van SCQs: Goedkoper en makkelijker toe te dienen (dus ook bij wijd verspreide populaties). Afwezigheid van de interviewer-effecten (zie vorig hoofdstuk) Minder interviewer-variatie. Eenvoudiger voor de respondenten. Ze doen het wanneer ze willen, en tegen de snelheid die ze willen. Enkele nadelen van SCQs Je kan niet peilen, noch hints geven. Je kan enkel markante vragen stellen. Met andere woorden, ze moeten betrekking hebben tot de respondent vooraleer hij de lijst saai gaat vinden. Je kan niet al te veel open-ended of complexe vragen includeren. De respondent kan de hele lijst bezien voordat hij antwoordt. Je weet dus niet of de vragen in chronologische volgorde zijn beantwoord, noch zijn de vragen volledig onafhankelijk van mekaar.

See pages 216-217

Comparing S.C.Q.s and structured interviews self-completion questionnaires tend to be: shorter and easier to follow with fewer open-ended questions

advantages of self-completion questionnaires: cheaper and quicker to administer (to widely dispersed populations) absence of interviewer effects and variation convenient for respondents

See page 217

Comparing S.C.Q.s and structured interviews disadvantages of self-completion questionnaires: cannot probe or prompt can only ask salient questions few open-ended or complex questions respondent can see the whole questionnaire before answering (question order effects)

See pages 218-219

K O M - B r y m a n | 36

Comparing S.C.Q.s and structured interviews (more) disadvantages of S.C.Q.s: cannot ensure that the right person answers cannot observe respondents environment respondent fatigue if too many questions excludes people with limited literacy skills

greater risk of missing data lower response rate

See page 219

Er is geen zekerheid dat de juiste persoon antwoordt. Je kan het milieu van de respondent moeilijk bestuderen. De respondent kan moeilijkheden hebben indien er veel vragen zijn (fatigue vermoeidheid) Mensen met een gebrek aan literaire vaardigheid zijn uitgesloten van deelname. Je loopt een groter risico om data te mislopen. Lagere response rate (+85%, excellent; -50%, onaanvaardaar)

Response rates

Response rates of S.C.Q.s relatively low: risk of sample bias Mangione (1995): 60-70% = acceptable strategies to improve response rates: monetary incentive stamped addressed envelope covering letter reminders clear instructions attractive layout See page 220

Relatief laag: risico op storende fout (BIAS) Manigione (1995): 60-70% = acceptabel Strategien om de response rate te bevorderen Monetaire incentieven (geld geven om deel te nemen) Het terugsturen van een lijst moet gratis zijn (dus reeds gefrankeerd en geadresseerd) Covering letter (brief met de bedoeling van het onderzoek e.d.) Geheugensteuntjes (bv.: een herinneringsbrief) Duidelijke instructies Aantrekkelijke lay-out Designing the self-completion questionnaire Je moet zorgen voor een overzichtelijke layout die niet te kort is, niet te beknopt en niet te omvangrijk is. Een duidelijke presentatie is wenselijk: Variatie in puntgrootte, lettertype, en hoofdletters Wees consistent in het gebruik

Designing an S.C.Q. uncluttered layout neither too short and cramped nor too long and bulky

clear presentation variety of font sizes, bold print, italics, and CAPITAL letters but be consistent!

See pages 221-222

K O M - B r y m a n | 37 Gebruik een verticale opstelling in plaats van een horizontale bij fixed choice antwoorden: Minder verwarrend om te lezen Onderscheidt antwoorden van vragen Minder kans op een fout van de respondent Makkelijker om te pre-coderen Buiten bij het gebruik van de Likert schaal met een lange lijst van items

Designing an S.C.Q. use vertical rather than horizontal alignment of fixed choice answers less confusing to read distinguishes questions from answers respondent less likely to make a mistake easier to pre-code unless using Likert scale with a long list of items

See pages 222-223

Designing an S.C.Q. clear instructions to respondent how to indicate choice of answer can they select more than one answer?

keep questions and answers together dont spread a question over two pages put answers alongside each corresponding question

Stel op voorhand enkele duidelijke instructies op voor de respondent: Hoe moet ik het juiste antwoord aanduiden? Mag ik meer dan n juist antwoord aanduiden? Houd de antwoorden bij de bijhorende vragen: Verspreid een vraag niet over twee bladzijden Zet de juiste antwoorden bij de juiste vraag

See page 224

Diaries a a form of self-completion questionnaires

Diaries as a form of S.C.Q. researcher-driven diaries (Elliott, 1997) alternative to structured observation in quantitative research Corti (1993) structured or free-text diaries structured diary closed entries, like a questionnaire time-use diary: records amount of time spent on dif ferent activities reduces error due to memory problems

See pages 224-225

Guidelines for preparing a diary for quantitative research Corti (1993) provide clear instructions for respondents about how to complete diary and how often include model of a completed diary entry provide checklist of items, events or behaviours to include in each entry show blocks of time in columns

Researcher-driven diaries (Elliot, 1997) = een alternatief voor gestructureerde observatie in kwantitatief onderzoek Corti (1993): structured versus free-text diaries (veel vrijer) Structured diary (gestructureerd dagboek/agenda): Gesloten vragen, net als een questionnaire Time-use diary: legt de tijdspanne vast van de tijd die werd gespendeerd aan een bepaalde activiteit Reduceert fouten wegens geheugenfalingen Tips van Corti: Schrijf duidelijke instructies voor omtrent het schrijven en de frequentie van het schrijven Geef een voorbeeld van een agenda Verstrek een checklist van items, events of gedragingen om bij de agenda bij te voegen Toon tijdsblokken in kolommen

See page 226

K O M - B r y m a n | 38

Evaluating diaries as a form of selfcompletion questionnaire Advantages precise estimates of time spent on activities (valid, reliable data) shows chronological order of events usef ul f or personal or sensitive issues

Advantages and disadvantages of the diary as a method of data collection Voordelen Preciese notatie van gespendeerde tijd en activiteiten (valide, betrouwbare data). Toont gebeurtenissen chronologisch. Bruikbaar voor persoonlijke en gevoelige onderwerpen. Wordt veel gebruikt om gedrag te bestuderen. Nadelen Hoge kosten Falen in het opnemen van details Selectieve inclusie van gebeurtenissen Risico op vermoeidheid, slijtage, verveling Moeilijk om de compleetheid te monitoren/controleren Key Points Veel van de aanbevelingen betreffende de SCQs zijn volledig of toch zeker gedeeltelijk van toepassing op het gestructureerd interview, zoals bij verscheidene zaken is vermeld. Men gebruikt meer gesloten vragen dan open vragen in survey research. Men kan open vragen en de daarbij horende antwoorden namelijk moeilijk coderen. Structured interviews en SCQs hebben beiden hun eigen voor- en nadelen, maar een vragenlijst die via de post is verzonden heeft een bijzonder probleem, namelijk dat ze meestal een lage respons rate kennen. Er kunnen evenwel stappen ondernomen worden om de antwoordratio op te krikken. De presentatie van gesloten vragen en de algemene lay-out zijn zeer belangrijke elementen van een SCQ. De researcher-driven diary werd gentroduceerd als een mogelijk alternatief voor vragenlijsten en interviews wanneer de onderzoeksvragen specifiek te maken hebben met de menselijke gedragingen.

Disadvantages cost of producing diaries and monitoring completion boredom, fatigue and attrition failure to record details selective inclusion of events

See page 228

K O M - B r y m a n | 39

Asking questionsOpen questions

Open questions Advantages respondents answer in their own terms allow f or new, unexpected responses exploratory - generate f ixed answer questions

Disadvantages time-consuming f or interviewer and respondent dif f icult to code more ef f ort required f rom respondent interviewer variation in recording answers

See page 232

Voordelen Respondenten antwoorden in hun eigen woorden Mogelijkheid op nieuwe, onverwachte antwoorden Men kan zo experimenteel nieuwe fixed antwoordmogelijkheden bedenken Nadelen Tijdrovend Moeilijk te coderen Er wordt meer inzet verwacht van de respondent Variatie in de mogelijkheid om antwoorden op te nemen Closed questions Voordelen Sneller en makkelijker te beindigen (betere respons rate en minder ontbrekende data) Makkelijk te coderen Makkelijk om de antwoorden te vergelijken (inter-coder reliability) Nadelen Geen spontaneteit Moeilijk om fixed choice antwoorden exhaustief te maken: respondenten kunnen hun mening niet vinden in de voorgegeven antwoordcategorien. Respondenten kunnen de vragen anders interpreteren Coderen Pre-coderen: Gesloten antwoorden in onderzoeken: deze zijn al gecodeerd en de respondent moet zich in een categorie plaatsen. Post-coderen (met gebruik van een coding frame): 1. categoriseren van ongestructureerd materiaal 2. een nummer/code toewijzen aan elke categorie Bryman & Cramer (2004): Categorien mogen elkaar niet overlappen (disjunct) Omvatten van alle mogelijke antwoorden (exhaustief)

Closed questions Advantages quicker and easier to complete (better response rate and less missing data) easy to process data (pre-coded) easy to compare answers (intercoder reliability)

Disadvantages restrictive range of answers: no spontaneity dif f icult to make f ixed choice answers exhaustive respondents may interpret questions dif f erently

See page 235

Coding pre-coding - closed answers in surveys post-coding - use a coding frame: 1. categorize unstructured material 2. assign a number/code to each category

Bryman & Cramer (2004): categories must not overlap cover all possible answers consistent over time/between coders

See pages 233-234

K O M - B r y m a n | 40 Consistentie over tijd/tussen codeerders

Een coding frame wordt gebruikt om de lijsten met codes te beschrijven die gebruikt moeten worden om ongestructureerde data te coderen. Types of questions

Types of questions personal factual questions factual questions about others informant factual questions attitudes beliefs normative standards and values lay knowledgeSee pages 238-239

Er zijn verschillende soorten vragen: Personal factual questions: het verstrekken van persoonlijke informatie door de respondent Factual questions about others: het verspreiden door de respondent van persoonlijke indormatie over anderen Informant factual questions: soms zien we respondenten als informanten (die van een bepaalde zaak iets afweten, bv.: de grootte van hun bedrijf) en niet als respondenten over hun eigen persoonlijke informatie Attitudes (= vragen over gedrag): bijvoorbeeld Likert scale Beliefs (= vragen omtrent overtuiging): religieuze en politieke overtuigingen (kan ook d.m.v. juist/fout-vraagstellingen) Normative standards and values: welke gedragsprincipes benvloeden personen? Lay knowledge: vragen omtrent kennis van de respondenten Designing questions : General rules Onthoud je onderzoeksvragen en zoek naar een oplossing Definieer exact wat je wil bereiken en vraag daar ook naar Beeld jezelf in als een respondent Hoe zou jij de vragen beantwoorden? Identificeer enige vage of misleidende vragen Denk na over de lengte, de stijl en de aantrekkelijkheid van vragen

Designing questions: general rules remember your research questions decide exactly what you want to find out imagine yourself as a respondent how would you answer the questions? identify any vague or misleading questions think about questionnaire length, style and attractiveness

See pages 239-240

Designing questions : Specific rulesDesigning questions: specific rules avoid ambiguous terms often, regularly, frequently, have

avoid long questions avoid double-barrelled questions people may have dif f erent answers to each part no necessary correspondence between parts e.g. How much time do you spend on going to concerts and the cinema?

See pages 240-241

Vermijd verwarrende termen often, regularly, frequently, have Vermijd lange vragen Vermijd dubbelloopse vragen Mensen kunnen verschillende antwoorden hebben op elk onderdeel Geen noodzakelijk verband tussen onderdelen Vb.: Hoeveel tijd spendeert u aan cinema en concerten?

K O M - B r y m a n | 41 Designing questions: specific rules avoid very general questions difficult to answer because they lack a frame of reference e.g. How happy is your family life?

avoid leading questions suggest that a particular response is desired e.g. Do you think that tuition fees make students less keen to go to university?

Vermijd algemene vragen Moeilijk te beantwoorden wegens gebrek aan referentiepunten Vb.: Hoe tevreden bent u met uw man? Vermijd leidende vragen Hierbij suggereer je dat een bepaalde respons gewenst is Vb.: Do you think that tuition fees make students less keen to go to university?

See page 242

Designing questions: specific rules dont ask two questions in one e.g. Which political party did you vote for at the last election? (firstly establish whether respondent voted at all) dont ask for opinions about several things at once

avoid negative terms (not, never) especially double negatives - confusing

Stel geen twee vragen tegelijk Vraag geen mening over verschillende dingen in n keer Vb.: Voor welke partij stemde u laatstleden? (verifieer eerst of de respondent weldegelijk ging stemmen Vermijd negatieve termen (niet, nooit) Zeker dubbele ontkenningen. Dit is zeer verwarrend

See pages 242-243

Designing questions: specific rules avoid technical terms, jargon and acronyms ensure that respondents have the requisite knowledge (are questions meaningful?) symmetry between closed questions and answers balanced between positive and negative responses to a question (avoid bias) dont rely on respondents memory include a dont know option?

Vermijd specifieke termen en vakjargon (ook acroniemen) Wees zeker dat respondenten de nodige kennis hebben Symmetrie tussen gesloten vragen en antwoorden Balans tussen positieve en negatieve antwoorden om bias te voorkomen Steun niet op het geheugen van de respondent Een geen-idee-optie toevoegen?

See pages 243-244

Common mistakes when designing questions excessive use of open questions excessive use of yes/no questions no instructions about how to indicate answers (tick box, circle, delete?) overlapping categories more than one answer may be applicable answers do not correspond to the questionSee pages 244-245

Common mistakes when asking questions Overmatig gebruik van open vragen Overmatig gebruik van ja/neen vragen Geen instructies over hoe te antwoorden (vakje aankruisen, omcirkelen, schrappen?) Overlappende categorien (geen respect voor disjunctie) Meer dan n antwoord kan van toepassing zijn De antwoorden komen niet overeen met de vraag

K O M - B r y m a n | 42 Vignette questions

Vignette questions present respondents with a scenario ask them how they would respond or what they think the characters should do anchors opinions and choices in a concrete, specific context (may be easier to answer) useful for sensitive topics (Finch, 1987) less threatening: imaginary characters suggest social distance f rom respondent

See pages 245-247

Je presenteert de respondenten een plausibel scenario Je vraagt hen hoe zij zouden antwoorden of wat zij denken dat de personages zouden doen Verankert opinies en keuzes in een concrete, specifieke context (dit kan gemakkelijker zijn om te beantwoorden) Bruikbaar bij gevoelige onderwerpen (Finch, 1987) Minder bedreigend: de denkbeeldige karakters stellen een zekere sociale afstand van de ondervraagde voor.

Nadeel: Social desirability-effect: de respondenten kunnen dit zien als een peiling naar hun denkwijze en kunnen een antwoord geven dat misschien niet zo dicht ligt bij hun eigen opvatting, maar bij de normen die heersen in de maatschappij. Piloting and pre-testing questions

Piloting and pre-testing questions check that the research instrument works gain practice at using interview schedule does each question f low smoothly on to the next? identif y vague or conf using questions remove any questions that received unif orm responses

open questions can generate fixed choice answers to include in the final study pilot respondents should not be in final sample

See pages 247-248

Om het onderzoeksinstrument te testen: Praktijk vergaren bij het gebruik van een interviewschema (confidence-boost). Volgen de vragen mekaar logisch op? (coherente samenhang) Men kan vage of verwarrende vragen eruit halen. Verwijder om het even welke vragen die dezelfde reacties ontvingen, want deze zijn minder interessant. De open vragen kunnen leiden tot vastekeusantwoorden (fixed choice answers) in de definitieve studie. Verder zouden proefondervraagden (die liefst sterk gelijken op de te bevragen groep) niet in het uiteindelijke onderzoek aanwezig mogen zijn (dit kan de resultaten benvloeden). Using existing questions Courante praktijk in onderzoek De vragen zijn reeds getest Bekende eigenschappen van betrouwbaarheid en geldigheid Helpen om vergelijkingen te maken met andere studies Databanken met vragen Voorstellingen van eerder gebruikte vragen http://qb.soc.surrey.ac.uk/docs/home.html

Using existing questions common practice in survey research questions have already been piloted known properties of reliability and validity helps you to draw comparisons with other studies question banks repositories of questions used in previous surveys http://qb.soc.surrey.ac.uk/

See page 248

K O M - B r y m a n | 43 Key Points Hoewel open vragen onbetwistbare voordelen hebben worden gesloten vragen toch meestal geprefereerd bij onderzoek, wegens het gemak om ze te stellen en de antwoorden vast te leggen en te verwerken. Dit heeft specifiek betrekking tot de SCQ. Open vragen van het type gebruikt in kwalitatief onderzoek hebben een nuttige rol in relatie met het formuleren van vastekeusantwoorden en het testen ervan. Het is cruciaal om de regels van het stellen van vragen te leren om enkele veel voorkomende vallen te vermijden. Je moet je altijd in de plaats van de respondent plaatsen wanneer je vragen stelt om zo zeker te zijn dat je data genereert die betrekking heeft tot je onderzoeksvragen. Piloting en pre-testing kan problemen met de vraagstelling oplossen.

K O M - B r y m a n | 44

Structured observationWhat is structured observation?

What is structured observation? method of systematically observing peoples behaviour schedule of categories direct observation, not reports or inference (alternative to survey method) aggregate and compare behaviour of everyone in the sample cross-sectional research designSee page 257

Gestructureerd observeren is een methode om menselijk gedrag systematisch te observeren. Men gebruikt hiervoor een schematische voorstelling van categorien, directe observatie (dus niet rapporteren of gevolgtrekkingen nemen alternatief voor onderzoeksmethode) en een cross-sectioneel onderzoeksontwerp. Men gaat het gedrag van iedereen in de steekproef vergelijken.

Problems with survey research

Problems with survey research respondents interpret different meanings from questions omission of key terms when reading questions reliance on peoples memories of their behaviour social desirability effect threatening questions - invalid answers interviewer bias gap between stated and actual behaviour

See page 255

Respondenten interpreteren verschillende betekenissen van de gestelde vragen. Wegvallen van sleuteltermen tijdens het lezen van de vraag (problem of omission) Geheugenprobleem (memory problems) Sociale wenselijkheid: men gaat zich voordoen zoals de maatschappij het zou willen Sommige vragen zijn bedreigend en kunnen bijgevolg foutief beantwoord worden Er is een kloof tussen hoe respondenten zeggen zich te gedragen en hoe ze zich werkelijk gedragen in het dagelijkse leven. Interviewer bias (de benvloedende eigenschappen van de onderzoeker zoals reeds hierboven besproken) Types of observation research Structured/systematic observation: met gebruik van een observation schedule (= observatieschema) Participant observation (kwalitatief): als de onderzoeker deel wordt van het veld Non-participant observation Unstructured observation: geen gebruik van een observatie-schema voor het opnemen van gedrag Webb: Simple observation: de onderzoeker heeft geen invloed op de geobserveerde situatie Contrived observation: de onderzoeker benadert de situatie om de effecten van een interventie te observeren

Types of observation research structured/systematic observation participant observation (qualitative) non-participant observation unstructured observation (inductive) Webb et al (1966) simple observation (unobtrusive) contrived observation (researcher intervenes)See page 257

K O M - B r y m a n | 45

The observation schedule

The observation schedule must have clear focus and be easy to use specifies categories of behaviour to be observed and how to allocate behaviour to a category e.g. Flanders Interaction Analysis Categories classroom activities recorded every three seconds

categories must be inclusive (cover all options) and mutually exclusive problem of observers interpreting behaviour

See page 260

Dit schema moet makkelijk in gebruik zijn en het onderwerp moet duidelijk naar voor komen. Er wordt een onderscheid gemaakt tussen typen gedrag, en hoe deze worden onderverdeeld in categorien. De categorien moeten alle mogelijke opties bevatten (inclusief/exhaustief) en ze moeten ook mutueel exclusief (i.d. geen overlapping/disjunct) zijn. Hierbij ontstaat er het probleem van hoe de onderzoekers gedrag moeten gaan interpreteren. Strategies for observing behaviour Wacht op incidenten, gebeurtenissen en interventies en teken de gevolgen op Observeer herhaaldelijk gedurende korte perioden Observeer continu voor langere perioden (bv. om het uur) Time sampling: neem waar wat er elke x minuten gebeurt (bv. Oracle study)

Strategies for observing behaviour record incidents, events and interventions observe for short periods of time, repeatedly observe for long periods of time, continuously e.g. Jenkins et al (1975): the observation hour time sampling record whatever is happening every x minutes e.g. ORACLE study (Galton et al, 1980)

See pages 261-262

K O M - B r y m a n | 46 Sampling in structured observationSampling in structured observation sampling people random sample of individuals to observe

sampling time periods observe same individual(s) at different, randomly selected times

further considerations cannot always use a probability sample no sampling f rame f or public encounters etc

limited external validitySee pages 262-263

Steekproeven met mensen: aselecte keuze Steekproeven over perioden van tijd: dezelfde individuen op verschillende tijdstippen (ook aselect gekozen) observeren Je kan niet altijd een probability sample gebruiken (er is geen sampling frame voor publieke ontmoetingen) Beperkte externe validiteit

Other types of sampling(Martin &

Andere typen steekproeven Ad libitum sampling: waarnemen wat er ook gebeurt gedurende een bepaalde periode Focal sampling: een speciefiek individu observeren gedurende een bepaalde tijd Scan sampling: op geregelde intervallen het gedrag van iedereen binnen een groep waarnemen Behaviour sampling: een gehele groep observeren om na te gaan wie betrokken was bij een bepaald gedrag

Bateson, 1986)

ad libitum sampling record whatever is happening at the time

focal sampling observe a specif ic individual f or a set period of time

scan sampling record behaviour of everyone in the group at regular time intervals

behaviour sampling observe whole group to see who was involved in a particular behaviour See page 263

Issues of reliability and validity

Issues of reliability and validity Reliability inter-observer consistency (measured by Cohens kappa) intra-observer consistency (lapses of attention)

Measurement validity does schedule measure underlying concept? implementation of schedule presence of observer - reactive effect

See pages 264-265

Reliability: inter-observer consistency: er kunnen storingen ontstaan wanneer verschillende observatoren een verschillende interpretatie hebben (gemeten door Cohens kappa) intra-observer consistency: de graad van consistentie van de toepassing van het observatie-schema over de tijd Measurement validity: Meet het schema het onderliggende concept? Implementatie van het schem Aanwezigheid van de observeerder reactieve effecten (zie verder)

K O M - B r y m a n | 47 Reactive effect

Reactive effect participants awareness of being studied can create a change in their behaviour Webb et al (1966) guinea pig effect (self-consciousness) role selection (playing out a role) measurement as an agent of change (researchers presence alters the social setting) response sets

See pages 265-266

Field stimulation as a form of structured observation (Salancik, 1979) researcher directly intervenes in a setting and observes the results quasi-experimental design e.g. Rosenhan (1973) 8 pseudo-patients f aked schizophrenic symptoms to see how a psychiatric hospital would treat them

Wanneer participanten weten dat ze geobserveerd worden, kan dit een invloed hebben op hun gedrag. Web et al (1966):