Methodologie van de soc wetenschappen

Les 1 (op PowerPoint)

Les 2 (02/10)H1: Inleiding

Onderzoek smartphonegebruik en examenresultatenOnderzoek 1Visie op onderzoek?Naturalisme

› grondslag onderzoek: er zijn factoren die mensen hun punten determineren universele wetten: veel smartphonegebruik => slechte punten

› onderzoekers zijn objectieve buitenstaanders

Mogelijke kritiekpunten?Andere factoren kunnen ook een rol gespeeld hebben waardoor slechte examenresultaten te verklaren zijn dus dit onderzoek bewijst niet dat er een causaal verband is tussen smartphonegebruik en examenresultaten

Onderzoek 23 proefgroepen: 1e groep moest hun smartphone in een andere kamer laten tijdens de test, 2de groep moest hun smartphone mee nemen met zich en naast hun leggen, 3de groep mocht doen wat ze wou (meesten namen smartphone mee in ruimte, maar staken gsm wel in broekzak/…)

Belangrijk: getest wat de AANWEZIGHEID van een smartphone doet met score op testResultaat: mensen waarbij gsm in andere kamer ligt, scoren beter op test dan zij die hun gsm naast hun hebben liggen

Kritiekpunten? Neen.De groepen zijn gelijk aan elkaar buiten dat de aanwezigheid van smartphone, tijdens test speelden dus geen andere factoren een rol (op toevalsfactoren na) sterkere case op vlak van causaliteit

H2: Bouwstenen en soorten sociaalwetenschappelijk onderzoekTheorie & empirie Theorie

- definitie: zie PPT- bv: sterrenhemel

waarom is die zoals die is? kunnen we verklaren door Big Bang Theory - bv: hoe kunnen we het patroon van misdadig gedrag verklaren? Broken Windows

Theory- bv: ‘job demand’ model

› veel of weinig autonomie (zelf veel beslissen hoe je werkt, wat je wanneer doet)

› veel of weinig werkdruk (veel werk hebben, veel te doen hebben) › ontstaan van schema met 4 ‘soorten’ jobs: zinloos, actief, passief & slopend› theorie zegt: stressniveau neemt toe van linksboven naar rechtsonder

Kenmerken uitspraak over de relatie tussen concepten empirisch component : het is gebaseerd op observatie

toetsbaar zijn : het moet verifieerbaar zijn (oberservatie, waarneembaar) + weerlegbaar zijn (je moet bereidt zijn om de theorie te verleggen als die niet klopt)

› bv : religieuze theorie ‘God heeft ons gecreeërd en we moeten ons goed gedragen zodat we niet door hem gestraft worden’≠ verifieerbaar (we kunnen God niet zien, bewijzen) en weerlegbaar (theorie is in geen enkel geval bereidt om ongelijk toe te geven, er wordt altijd wel iets gevonden om theorie te bewijzen volgens hen)

zekere mate van veralgemeenbaarheid › 3 soorten theorieën :

1) Formele theorieën kunnen op allerlei inhouden toegepast worden lege doos die je op alles (verschillende domeinen) kan toepassen (bv : formules)2) Grand theories proberen heel de sociale orde te verklaren heel wat kritiek op : als we proberen alles ineens te verklaren, komen we op verschillende abstrate theorieën die niet echt veel betekenen 3) Middle range theories 1 aspect binnen geheel bestuderen minder abstract

Kenmerken toepassen op JDC-model (Job Demand Control) - empirisch toetsbaar : het is mogelijk om de verifieren of deze theorie klopt, door

bevragingen te doen + ook weerlegbaar (mogelijke observatie waarbij theorie niet klopt kunnen we ons inbeelden)

- middle range theorie : 1 aspect in SL proberen te verklaren (stress – werk)- concepten : zinloze jobs, actieve jobs,…

labels die specifieke jobs omvangen

Empirie- het ervaren van de wereld rondom ons door middel van waarneming - in welke mate is het mogelijk om objectief te observeren ? kunnen we wel iets

waarnemen zonder onze eigen kleur er aan te geven ? 2 addertjes onder het gras

1) In welke mate is objectief waarnemen mogelijk ?Bhalla & Proffitt

- 3 verschillende groepen- zelfs als het gaat over zo iets objectief als een heuvel waarnemen, zal onze eigen

situatie erop afkleuren

2) Interesses in bepaalde fenomenen zijn niet altijd observeerbaar- concepten : verborgen gedrag, verkiezingsgedrag (men mag niet spreken over op wie

hij/zij stemt), waarden,…

Theorie en empirie staan los van elkaar onderzoek : samenspel van beide componenten

Deductie› algemene theorie toepassen op een specifieke, concrete case › ‘alle zwanen zijn wit’

Inductie› uit concrete observaties een algemene regel/theorie formuleren› een witte zwaan zien in het park => ‘alle zwanen zijn wit’

Voorbeeld 1 : zwanen

Voorbeeld 2 : Dr Semmelweis (dokter)- kraamvrouwenkoorts in Vienna General Hospital - percentages van vrouwen die bij het bevallen overlijden bij 2 verschillende

klinieken/afdelingen - opvallend : 1ste kliniek ligt sterfte hoger dan bij 2de - oorzaak achterhalen

Theorie 1 : het wordt veroorzaakt doordat te veel vrouwen samen in 1 kleine ruimte› hypothese : ‘afdeling met meer personen heeft een hoger sterftepercentage’› obervatie : is het zo dat in de afdeling met de hoogste sterfte de meeste vrouwen

liggen ? NEEN net minder=> hypothese wordt volledig ontkracht

= deductieve aanpak

Theorie 2 : verschillen in voeding en verzorging › hypothese : ‘afdeling met minder goede voeding/verzorging zal hoger sterfte %

kennen’› observatie : is er een verschil in verzorging & voeding in de afdelingen ? NEEN is

hetzelfde = deductieve aanpak

Theorie 3 : ruwe behandeling door verloskundigenWaarneming : afdeling 1 waren verloskundigen in opleiding, afdeling 2 waren kraamvrouwen in opleiding

› empirie (observatie) : verwondingen opgelopen tijdens onderzoek = minder erg dan die opgelopen tijdens de bevalling zelf

› ingreep : # onderzoeken halveren (dan zou sterftecijfer moeten halveren volgens hypothese)

› resultaat : niets veranderde, dus theorie verworpen

Theorie 4 : zien van een priester die laatste sacrament komt toedienen leidt tot schrik => KVKWaarneming : directe toegang tot sterftekamer in afdeling 2 voor priester, niet in afdeling 1 (daar moest priester voorbij zalen)

› ingreep : priester niet voorbij zalen laten komen› resultaat : niets veranderde

Enkele jaren later : oorzaak voor situatie van KVK gevonden In 1847 : mannelijke collega krijgt prik in vingen tijdens autopsie => KVK Inductie

› empirie : in afdeling 1 kwamen verloskundigen vaak van een autopsie direct naar de vrouw die ging bevallen (handen niet wassen want geen besef van belang hygiëne)

› ingreep : studenten handen laten wassen› empirie : onmiddelijke daling sterfte %

De cyclus van empirisch onderzoek

OEFENING PPT› theorie: contact met andere etnische groepen leidt tot meer + attitudes tegenover

die groep› er wordt een relatie gelegd tussen concepten: contact met groep & attitude› empirie: men deed een observatie naar het contact met de groep en de voorwaarden› deductie: algemene naar concrete› inductie: ze zien in de 515 studies dat de theorie niet volledig klopt => theorie

aanpassen, herformuleren (van het concrete naar het algemene)

KUNNEN: toepassen, niet perse kunnen uitleggen wat inductie/deductie inhoudt

Les 3 (05/10)

H2: Bouwstenen en soorten sociaalwetenschappelijk onderzoekVervolg cyclus empirisch onderzoek

Durkheim theorie zelfdoding: 4 types

komen in SL meer of minder voor theorie niet kennen, gewoon als 2 continuüms (regulatie & integratie) illustratie

patronen te vinden in iets dat toch zo een persoonlijke keuze is toch wetmatigheid te zien in iets wat vrije wil is

Onderscheid tussen deterministische & probabilistische wetmatigheden

Evaluatiecriteria: toevalsfouten & systematische foutenWat?Kwaliteit van onderzoek hangt af van afwezigheid of aanwezigheid van fouten

2 soorten fouten: toevallige fouten & systematische fouten

Criteria om onderzoek te beoordelen betrouwbaarheid: afwezigheid van toevallige fouten geldigheid: afwezigheid van systematische fouten

Voorbeeld 1Metafoor van schietschijf

geldigheid en betrouwbaarheid van schietpatroon: er zit een systematische fout in (je zit systematisch te veel links) & probleem met betrouwbaarheid (schoten zijn niet altijd op dezelfde plek, maar verspreid) lage geldigheid en betrouwbaarheid

Voorbeeld 2

2 weegschalen, echte gewicht 80 kg

Weegschaal 1: gemiddelde 80,3 bijna geen probleem met geldigheid (zelfde als echte gewicht), maar wel een probleem met de betrouwbaarheid (hele verschillende, verspreide resultaten)

Weegschaal 2: gemiddelde 76,3 probleem met geldigheid, maar niet met betrouwbaarheid

Voorbeeld 32 grafieken gewicht online & observatie (man-vrouw)

Bij vrouwen: alle bolletjes liggen op de lijn of erboven uitleg: er is een systematische afwijking geen toevallig patroon, er zit een patroon in -> probleem bij geldigheid

Bij mannen: bolletjes erboven, maar ook eronder (verspreid) uitleg: lichte mannen gaan op profiel overdrijven, mannen die zwaarder zijn gaan gewicht aanpassen naar beneden complexer patroon verteld veel over sociale norm: “te licht = te weinig spieren” “te zwaar = dik”

=> systematische afwijkingen (verschil tussen man en vrouw) ongeldigheid

Betrouwbaarheid meer metingen doen bij voldoende aantal mensen

Geldigheid complexer dan betrouwbaarheid 3 vormen van geldigheid:

- meetgeldigheid: meten we wat we willen meten?- externe geldigheid: kunnen we de resultaten veralgemenen naar de populatie- interne geldigheid: zijn de relaties tussen kenmerken geldig

geoperationaliseerd?

Voorbeeld theoretisch concept: zelfmoordcijfersvoorbeeld gemeten concept: de zelfmoordcijfers in een statistisch onderzoek van de overheid

Oefening: games & schoolresultatenOnderzoek: probleem met geldigheid

- externe geldigheid- interne geldigheid - meetgeldigheid

Oefening: ‘zoetstoffen toch niet zo schuldig’

alle 3 eigen criteria

(zoetstoffen = kunstmatige suikers)- externe geldigheid: kan je het bloedsuikergehalte van een muis veralgemenen naar

dat van de mens?onderzoek op mens=> geldigheidsproblemen?

- interne geldigheid: men spreekt over een causaal effect tussen zoetstoffen en de darmflora, maar is dat effect er wel?

Theorie- vs. praktijkgericht onderzoek

Praktijkgericht onderzoek: proberen om verschijnselen te beïnvloeden en te veranderen bv: experiment van Dr. Semmelweis (kraamkoortsziekte bij vrouwen)

Theoriegericht onderzoek: probeert bij te dragen tot een theorie bv: onderzoek videogames

Praktijkgericht onderzoekevaluatie-onderzoekactie-onderzoek

Evaluatie-onderzoekBv: Sesame straat

- heel goed bedoeld als beleid, maar evaluatieonderzoek heeft getoond dat het net voor het tegenovergestelde zorgde (kloof werd groter) mooi voorbeeld van goede bedoelingen, onbedoelde gevolgen

Cyclus goed evaluatie-onderzoek doorloopt deze cyclus 1 keer

Toepassing cyclus inburgeringsdicreet1. Probleem: kloof tussen nieuwkomers & nt nieuwkomers in Vlaanderen 2. Diagnose: benoemen

altijd meerder diagnoses discriminatie, structurele factoren, …

3. Plan: nadenken over een interventie inburgeringscursussen?

4. Interventie: interventie starten + tijdens interventie kijken of hij goed verloopt (gaan genoeg mensen naar deze cursussen?...)

5. Product evaluatie: is de situatie verbeterd of niet? conclusie: na cursussen is taalniveau nog steeds laag + nog steeds weinig contact met nt nieuwkomers

Les 4 (09/10)

H3: Filosofische achtergrond

RationalismeTot renaissance: kennis komt voor uit antieke bronnen, Bijbelse teksten en goddelijke openbaringen

Rationalisme denken = bron van alle ware kennis deductieve aanpak kritisch tegenover ervaring = bron van kennis (observatie is onnodig)

Plato’s allegorie van de grot we zijn gevangenen die vastgeketend zijn aan een stoel, daardoor kunnen we maar in

1 richting kijken kijken naar een wand op de wand speelt er zich een voorstelling voor wat we op de wand zien ≠ de realiteit

om werkelijke kennis te hebben, niet enkel observeren de gevangenen zouden zich dus moeten losketenen om achter hen te kunnen kijken

Euclidische meetkunde 5 axioma’s / uitgangspunten (niet kennen)

ze zijn onbewijsbaar er kan op basis van deze axioma’s een kennissysteem geconstrueerd worden op

deductieve wijze

OBSERVATIE EN EMPIRIE = niet nodig om kennis op te doen

René Descartes‘Je pense, donc je suis’

kritiek Bacon: we komen niet op goede kennis door gewoon na te denken - volgens Bacon: nieuwe visie zijn op wetenschap en kennis (Novum Organum)

eerste methode: loopt weg van alle observaties/ervaringen tweede methode: er moet ook zoiets zijn als inductie, op basis van observaties algemene wetten maken

Empirisme

Galileo Galilei observaties op hemellichamen vroeger ‘aarde is centraal punt, alles draait rond de aardbol’

Galileo deed observaties die hier niet mee overeen kwamen=> nieuwe theorie

veel kritiek van Kerk & inquisitie:- accepteren nieuwe visie/theorie niet- Galileo wordt geschorst & schrijft boek

Empirisme ervaringen/observatie = belangrijke bron van kennis menselijke geest = ‘tabula rasa’

we worden geboren als een leeg blad, door ervaringen op te doen wordt het blad gevuld

correspondentietheorie: een beweren is waar indien ze met de werkelijkheid correspondeert

wetenschap/kennis bestaat niet enkel uit observatie zij die enkel observeren zijn de mieren, ze verzamelen feiten maar hebben geen echte kennis hij pleit voor de hele empirische cyclus

Waarom in de 16e-17e E? visie van het rationalisme was heel actueel

visie was volgens hen niet correct, men wou deze afbrokkelen

Verdere ontwikkelingen Het scepticisme van David Hume

- zijn visie stemt overeen met die van Galileo- ook enkele kanttekeningen: zijn onze waarnemingen wel zo feilloos & causaliteit

zintuigelijk vaststellen is onmogelijk

Het logisch-positivisme van Wiener Kreis- groep wetenschappers in Wenen - demarcatieprobleem: wat is wetenschap en wat niet?

enkel observatie volstaat niet om de wetenschap af te bakenen - verificationisme: principe van de verifieerbaarheid

een uitspraak/theorie moet controleerbaar zijn, observaties mogelijk zijn die dit kunnen verifiëren, hoe kunnen we dit toetsen aan de realiteit

Karl Popper: kritiek op logisch-positivisten1 e kritiek : de mens is volgens positivisten een ‘tabula rasa’, maar het is niet dat ons hoofd volledig leeg is en deze gevuld wordt

- bv: kindje dat zijn middelvinger opsteekt (ene ziet het als een lief kindje, andere als een hooligan)

- hangt af van kritische ingesteldheid2 e kritiek : principe van verificatie is niet houdbaar

- universele uitspraken zijn onmogelijk verifieerbaar bv: alle zwanen zijn wit

- alternatief: principe van falsificatie demarcatiecriterium weerlegbaarheid: we moeten als wetenschappers niet iets proberen te bewijzen, maar iets proberen te weerleggen-> bv: niet proberen te bewijzen dat alle zwanen wit zijn, maar net zoeken naar een zwarte zwaan

Thomas Kuhn: verlaat correspondentietheorie - de correspondentietheorie (iets is waar als het overeenstemt met de observatie)

klopt volgens hem niet- de wetenschap evolueert niet geleidelijk aan, maar in sprongen

theorieën sterven met de wetenschapper die hem verdedigd en mensen gaan deze theorieën bekijken vanuit hun visie (ze gaan hem niet zomaar verwerpen) = paradigmawissel

Imre Lakatos: probeert synthese te maken van Popper’s en Kuhn’s kritieken- theorieën kunnen niet bewezen worden door observatie- maar je kan ze ook niet falsifiëren als er een tegensprekelijke waarneming wordt

gedaan- wetenschappers hebben neiging theorieën te redden door wijzigingen te doen- evolutie wetenschap: niet omdat er 1 tegensprekelijke observatie gedaan wordt de

theorie meteen verwerpen, maar wanneer er meerdere tegensprekelijke observaties worden gedaan zal een alternatief paradigma de bovenhand halen -> 3 voorwaarden hiervoor

bv: theorie van de zwaartekracht Newton: vallen van appel uit boom naar beneden (hoe komt dit?) welke theorie is Einstein: ontwikkelt zijn algemene relativiteitstheorie

correct?

We gaan Einstein geloven ipv Newton op het moment dat we zijn theorie waarnemen => de theorie van Einstein beweerd alles wat Newton beweerd, maar heeft nog enkele extra punten en deze worden bewezen door observatie => theorie wordt bijgewerkt

! Theorie: niet 1 experiment die het tegendeel bewijst van een stelling kan ervoor zorgen dat de hele theorie verworpen wordt, er moet meer onderzoek gedaan worden (meer bewijs) !

Wat met sociale wetenschappen?Wetenschap ≠ monoparadigmatisch

Naturalisme: sociale wetenschap volgt het model van de natuurwetenschap kenmerken zie PPT

Adolphe Quetelet Emile Durheim

Constructivisme: sociale wetenschappen hebben eigen model nodig kenmerken zie PPT

Immanuel Kant Wilhelm Dilthey Max Weber

Les 5 (12/10)

H4: Ethiek in sociaalwetenschappelijk onderzoek

Wantrouwen tegenover wetenschapIntegriteit

probleem: deel van de publieke opinie geloofd niet in de integriteit v/d wetenschap niet objectief, niet integer,… een paar schandalen zijn genoeg om de integriteit v/d W in vraag te stellen

Ethiek- Griekse ethos: gewoonten, gebruiken- = centrale waarden en overtuigingen van het wetenschapsbedrijf + daaruit

voortvloeiende handelingsrichtlijnen

Ethiek met betrekking tot het omgaan met deelnemersPrincipe 1: Schade vermijdenJe mag deelnemers van onderzoek noch fysische, noch psychische pijn berokkenen

Experiment Milgram goed voorbeeld waarbij er geen rekening gehouden wordt met principe 1 proefpersonen gezegd dat het een experiment was naar het leerproces

echt onderzoek: luisteren mensen naar autoritaire personen? 2 groepen:

- ene groep moet vragen stellen aan de proefpersonen, wanneer de personen een fout antwoord geven, krijgen ze een elektrische shock elektrische shock wordt gegeven door de personen die de vragen stellen werden verplicht dit te doen van autoritaire figuren ! Sterkte van de shocks steeg telkens ! De personen die de vragen stelden dachten dat ze echt elektrische shocks gaven (wat niet waar was)

resultaat: proefleider gaf hun het bevel en de meesten doorliepen het experiment (tot hoogste sterkte)

psychische schade bij de proefpersonen (zij die de vraag stelden)

Onderzoek Berkun zie ppt ook hier psychische schade

Soms kan schade niet vermeden worden- onderzoek stopzetten- afwegen schade tegen belang wetenschappelijke vooruitgang die geboekt kan

worden

Principe 2: informed consent Informed = de deelnemers moeten weten waarover het onderzoek min of meer over gaat, zodat ze weten waar ze ‘ja’ op zeggenConsent= de deelnemers moeten hun toestemming gegeven hebben om mee te werken aan het onderzoek

Niet altijd mogelijk, hangt af van het onderzoeksontwerp- veldonderzoek: onderzoeker gaat undercover en proberen mee te draaien/ te

observeren- verborgen onderzoek- deceptie: we proberen niet altijd te vertellen waarover het onderzoek precies gaat

Principe 3: Privacy, vertrouwelijkheid en anonimiteit Respect hebben tijdens een onderzoek voor deze 3 dingen

sociaalwetenschappelijk onderzoek bevat vaak persoonlijke en gevoelige data- inkomen, religieuze opvattingen, seksuele geaardheid, politieke voorkeuren,…

deze data mag niet verspreid worden hoe?

- anonimiseren - embargo op onderzoek- overheid ziet erop toe of we alle verzamelde gegevens op een goede manier

gebruiken privacycommissie

Deontologie - Belang van openheid: alle informatie moet beschikbaar gemaakt worden zodat

resultaten kunnen gecontroleerd en gerepliceerd kunnen worden- Zo goed mogelijk wetenschap bedrijven: beste methodes en theoretische kaders

gebruiken die beschikbaar zijn- Geen fraude plegen- Correct refereren

Fraude-cases

Case van de Piltdown-man discussie over the missing link tussen mens en aap fossiele restant die bewees hoe het in elkaar zat

- enkele jaren later: ondervonden dat de schedel een fake schedel was (fraude)=> 50 jaar in de verkeerde richting gezocht tussen link mens-aap

Case van Diederik Stapel genoot heel veel aanzien publiceerde veel onderzoeken en weetjes ondervonden dat hij data gebruikte die zelfgemaakt was (nooit echt onderzoek

gedaan)

Wetenschap/onderzoek & samenleving

Max Weber nam belangrijke positie in in dit debat we moeten als wetenschappers onze eigen waarden aan de kant schuiven kritiek: naïeve visie

je waarden spelen mee in wat je interessant vindt als onderzoeker= onvermijdelijk=> zorgt ervoor dat we gepassioneerd zijn door wat we onderzoeken ! bewustzijn van vooringenomenheid: bias vermijden

Illustratie: onderzoek Marion Van San naar etniciteit en criminaliteit Marc Verwilghen wou een onderzoek naar etnische achtergrond en criminaliteit

stellen mensen met een bepaalde etnische achtergrond meer criminologische feiten dan anderen?

prevalentie = percentage criminaliteit binnen die groep vraag: hoe interpreteren we die cijfers? welke theoretische inzichten kunnen ons

helpen deze gegevens te begrijpen/ te interpreteren?

Keuze van frame geen aandacht voor socio-economische status

het is net die status die de kans op criminele daden bepaald

discriminatie door politie? ander soort frame discriminatie door politie voor de ene groep, voor de andere wat minder

Les 6 (16/10)

H6: Kwantitatieve en kwalitatieve meting

Basisbegrippen

Meten = het empirisch vaststellen van theoretische concepten, de vertaling van een theoretisch concept naar een waargenomen variabele (kan kwantitatief of kwalitatief zijn)

Meetproces:Conceptuele definitie Operationele definitie Waargenomen concept

Conceptuele definitie - concept = abstract begrip dat een plaats inneemt in het theoretisch model - bouwstenen van theorie - een theoretisch concept uitleggen in zijn verschillende aspecten

Operationele definitie- kiezen van waarneembare indicatoren die de verschillende aspecten van het

theoretische concept representeren/omvatten - van iets heel abstract naar een concreet waargenomen gegeven

uiteindelijke waarneming (bv: een score van een intelligentietest)

Meetproces: heel rooskleurig voorgesteld 2 valkuilen bij de operationalisering Betekenisvernauwing

sommige aspecten van het theoretisch concept vergeten we Betekenisverschuiving

we meten iets dat we eigenlijk niet willen meten

Examen: score die je resultaat weergeeft- deze score moet weergeven of je wel echt een goede kennis hebt- vernauwing: sommige dingen vallen weg- verschuiving: bij een mondeling examen is het doel de kennis van de student

evalueren indirect wordt de spreek/taalvaardigheid van de spreker ook geëvalueerd (sommige kunnen zich ergens beter uitpraten dan anderen- we meten iets wat we eigenlijk niet willen meten

Moeilijkheid van operationalisering hangt af van 2 kenmerken van een concept:1. Complexiteit2. Abstractiegraad

Illustratie: waardentheorieSchwartz (1992)

Waarden richten onze keuzes die we maken in het leven, sturen het menselijk handelen algemene principes die bepaalde situaties overstijgen

10 ≠ waarden die voortkomen uit de noden van het menselijk bestaan achievement, universalism,…

Conceptuele definitieAchievement = …Universalism = …

Operationele definitie per dimentie meerdere indicatoren zoeken

Achievement: portret 1, portret 2,…Universalism: “

Waargenomen conceptScore

Beïnvloedt sociaal-structurele positie waardenprioriteiten: gender, leeftijd en opleiding beïnvloeden onze waardenprioriteiten

Oefening op basisbegrippenWelk soort concept? Abstract-concreet / Eenvoudig-complex?

complex & abstract: meerdere aspecten worden omvat iemand kan religieus zijn op verschillende manieren bidden, aanpassing van kleren, naar de kerk gaan,…

Betekenisvernauwing? er is maar 1 mogelijke vorm van religie sommige aspecten nemen we niet mee in het onderzoek niet naar de kerk gaan betekent niet dat men niet religieus is, er wordt geen rekening

gehouden met het bidden thuis,…Betekenisverschuiving?

?Betere indicatoren?

?

Betrouwbaarheid van onderzoek (mogelijke fouten)

Gebrekkige operationalisering kan leiden tot foutieve conclusies

Veralgemeningsfout = je gaat slechts 1 of enkele dimensies meten, maar je concept omvat er veel meer

je gaat ten onrechte 1 dimensie veralgemenen naar een volledig concept

Religiositeit bij jongeren: ‘hoe vaak ga je naar de kerk?’ zal duidelijk worden dat deze heel laag ligt=> kijken naar andere indicatoren: ‘geloof je in god?’ ‘denk je vaak na over de zin van het leven?’ ‘geloof je in het leven na de dood?’ heel ander resultaat qua religiositeit

Abstractiefout = abstract concept meten door 1 grote concrete indicator te onderzoeken

Kwantitatieve meting theoretisch concept vertalen in een numerieke score verwerkt m.b.v. statistische analyse stappen meetproces worden strikt gevolgd

Kwalitatieve meting niet numeriek-gegevens

Les 7 (19/10)

H6: Kwantitatieve en kwalitatieve metingKWANTITATIEVE METING

X = T + I + e

X = geobserveerde waarde T = werkelijke waarde (true score) I = ongeldigheid (invalidity) e = onbetrouwbaarheid (error)

Theorie: als je iets meet, zitten er altijd fouten in- proberen te voorkomen- aanwezigheid van fouten evalueren- rekening houden bij interpretatie

Soorten kwantitatieve variabelen Continue variabelen

- oneindig aantal waarden aannemen- glijdende schaal

Discrete variabelen- beperkter aantal waarden- trapsgewijs

3 ≠ meetniveaus› drukt aard van de relatie uit tussen de variabele en een getalsscore › hiërarchisch geordend

1. Nominale variabelen- eindig aantal categorieën die niet logisch geordend kunnen worden - toewijzing van score is arbitrair

2. Ordinale variabelen- eindigt aantal categorieën, waartussen logische ordening zit- afstand tss categorieën is niet gedefinieerd - toewijzing scores moet orde respecteren

3. Metrische variabelen- eenduidige relatie tussen score- afstand tussen categorieën is gedefinieerd

Oefening ‘indicatoren religiositeit’- Religieuze denominatie: nominale variabele

maar 5 mogelijke antwoorden, dus geen continue variabele- Publieke praktijk: metrische variabele (discreet)

je kan geen 1,3 keer naar de kerk gaan- Subjectieve religiositeit: ordinale variabele

je kan maar 3 posities innemen, er zin een bepaalde logica in

SchaaltechniekenSchaalconstructie = 1 score creëren op basis van verschillende variabelen/metingen

> Likert schaal> Guttman schaal zie PPT

1

2

Relaties tussen kenmerken

Relaties tussen kenmerken/variabelen: grafisch voorstellen (conceptueel model)- gemeten variabelen in een vierkant- niet rechtstreeks gemeten variabelen in een ovaal

Relaties tss kenmerken Geen relatie tussen 2 kenmerken Samenhang tussen 2 kenmerken

- aangegeven met kromme, dubbelhoofdige pijl- verbanden zijn symmetrisch

Effect van een kenmerk op het andere X beïnvloedt Y aangegeven met éénhoofdige pijl van de onafhankelijke naar de afhankelijke

variabele

Samenhang of effect? hangt af van het onderzoeksontwerp en theoretische argumenten besluiten tot effect mag niet zomaar, effect impliceert causaliteit

MEDIATIE / intermediaire variabelen

X beïnvloedt Z; die op zijn beurt Y beïnvloedt

Bv: examenresultaat- X = interesse- Z = uren studeren- Y = examenresultaat

Waarom staat de score in een cirkel, en niet in een vierkant?Het examenresultaat is niet iets dat we rechtstreeks meten, we meten je kennis over de 40 vragen, maar niet over de volledige kennis van de volledige cursus.

Speciale vorm: schijnverbanden bv: zogezegde correlatie tussen aantal ooievaars en aantal geboortes op een bepaald

moment sprake van een 3de variabele: industrialisering

Interactie effect

Sterkte van de relatie tussen X en Y wijzigt onder invloed van Z

Bv: examenresultaat- X = uren studeren- Y = examenresultaat- Z = studiemethode

KruistabellenEffecten/verbanden, interacties en mediaties aflezen uit kruistabellen

- afhankelijke variabele in rijen- onafhankelijke variabele in kolommen - kolompercentage berekenen- verschil tss kolompercentage over kolommen berekenen - als ∆ beduidend van 0 verschilt sprake van een relatie

Interactie effect delta verschillen voor mannen en vrouwen en dan bekijken of ze van elkaar

verschillen- voor mannen = geen effect voor deeltijds- of voltijds werken op de

kinderopvang- voor vrouwen = wel een effect (12,6) - delta (12,6) – delta (1,0) = 11,6 => interactie effect

werk & kinderopvang: gender heeft een effect op de 2

Mediatie effect effectsterkte is kleiner geworden => aanwezigheid van mediatie IK SNAP HIER NIKS VAN, WENEN

Warren McCleksyAdvocaat doet uitspraak over de doodstraf: tegen statistisch bewijs dat zwarte gekleurde mensen sneller de doodstraf krijgen dan blanken

Eerste tabel: 10,2 – 11,9 => geen relatie, advocaat had volgens deze tabel dus ongelijk

Tweede tabel toevoeging ras van slachtoffer als controle-variabele ineens wel een relatieHoe? mediatiemodel Simpson’s paradox

Simpson’s paradox: in het echt is er een verband, maar als je 2 kenmerken onderzoekt is er geen verband

Effect verdwijnt als we de huidskleur van het slachtoffer niet opnemen in het onderzoek wat is er aan de hand: huidskleur is belangrijk in dit onderzoek als er een blanke persoon vermoord werd, kreeg men sneller de doodstraf

OefeningZIE PPT thuis maken!

Les 8

H6: Kwantitatieve en kwalitatieve metingKWANTITATIEVE METING

Opgave 1OPLOSSINGLinker model: mediatie

- pijltjes willen zeggen ‘heeft effect op’- hoge opleiding leidt tot etnocentrische attitudes, dit wordt versterkt door

lidmaatschap dat tevens bepaald wordt door opleiding

Rechter model: interactie- 1 variabele heeft invloed op de andere, maar kan versterkt/verzwakt worden door

een 3de variabele

Opgave 2∆=¿42,4 – 24,6 = 17,8

- kijken naar de delta’s binnen de tabel met 3 variabelen we vergelijken de leden met de niet leden van een lage opleiding + hetzelfde voor een hoge opleiding=> lage: ∆=¿46 – 33, 2 = 12,8=> hoge: ∆=¿38,8 – 16 = 22, 8

- conclusie: voor de laagopgeleiden is er een effect, voor de hoog opgeleiden is het effect sterker delta’s liggen fel van elkaar=> het effect van lidmaatschap blijft even sterk met of zonder een 3de variabele, aangezien het gemiddelde van de twee delta’s gelijk is aan de delta van de eerste tabel=> er is dus sprake van interactie, en niet van mediatie

Antwoord multiplechoicevraag: B

Betrouwbaarheid nagaan

Test- retest betrouwbaarheid (test-hertest) - exact dezelfde instrumenten 2x gebruiken bij dezelfde mensen en kijken naar

overeenstemming in resultaten- overeenstemming meten met correlatiecoëfficiënt

moet zo dicht mogelijk bij +1 liggen; minimaal 0,8

Mogelijke problemen:- te korte tijd tss 2 metingen: geheugeneffect (ze kunnen zich nog herinneren wat hun

antwoord de vorige keer was)- te lange tijd tss 2 metingen: reële wijziging in opinie (bv: bij het meten van

betrouwbaarheid weegschaal niet te lang wachten met persoon er opnieuw op te zetten, persoon kan afvallen/bijkomen)

Voorbeeld: voor of tegen splitsing in België kruistabel van 2 metingen 2 blauwe cellen = discordante cellen

hoe groter het verschil tussen deze twee cellen, hoe onbetrouwbaarder de meting

Split-half betrouwbaarheid- scores op twee helften berekenen van een instrument - samenhangt tussen deze 2 scores berekenen, sterke samenhang (min. 0,8) wijst op

een goede betrouwbaarheid

Cronbach’s alpha- interne consistentie veronderstelt dat items onderling sterk samenhangen- maat die gemiddelde samenhang weergeeft:

a = K(r) / (1 + (K-1)r)- een alpha groter dan 0,70 wijst op een goede betrouwbaarheid

Voorbeeld: Schwartz’ menselijke basiswaarden eerst: Test-retest betrouwbaarheid gebruiken

- correlatie op de 2 scores waren redelijk goed, over de tijd zijn de metingen redelijk consistent

vervolgens: Cronbach’s alpha- de interne consistentie is niet voldoende sterk

Meetgeldigdheid nagaan

Inhoudsgeldigheid- zijn de indicatoren die we gebruiken wel een goede selectie voor de verschillende

lagen die er zijn in ons onderzoek, uit het universum van verschillende indicatoren - proces van operationalisering systematisch evalueren

veralgemeningsfout abstractiefout

- berust niet op statistische analyse

Indruksgeldigheid- berust ook niet op statistische analyse- kijken of wat er onderzocht wordt ook effectief is wat we willen onderzoeken

Begripsgeldigheid- statistische analyse doen om te kijken of onze hypotheses kloppen

wanneer die wordt verworpen/ontkracht wordt: 2 mogelijkheden; theorie is volledig fout of de meting is volledig fout

Voorbeeld: jobtevredenheid criterium gebruiken van begripsgeldigheid

- hypothese: mensen die routine jobs doen gaan lager scoren op de jobtevredenheid-schaal

als hypothese niet ontkracht wordt: theorie klopt, jobtevredenheid is geldig gemeten wel ontkracht: theorie is fout / meting is fout

Discriminerende geldigheid- kijken naar samenhang van concepten die sterk van elkaar verschillen

lage samenhang: goed

Criterium geldigheid- meting vergelijken met een criterium waarvan de geldigheid onomstotelijk vast staat - verschillende vormen

1. Gelijktijdige geldigheid in welke mate correleert ons nieuw instrument met het geldig instrument

hoe sterker, hoe beter

2. Predictieve geldigheid geldigheid van een meting evalueren in het licht van een latere gebeurtenis

die per definitie ‘geldig’ is hoe groter a, hoe groter de predictieve geldigheid

Oefening: 3 opgaven1. Hypothese over effect: leeftijd heeft een effect op universalisme en prestatie

we vinden adhv metingen dat deze hypothese klopt=> Begripsgeldigheid2. Discriminerende geldigheid3. Gelijktijdige geldigheid

KWALITATIEVE METING - aandacht voor perspectief van de onderzochte - constructieve opvatting- open vs. gesloten meetprocessen

Gefundeerde theorie-benadering- grounded theory (Glaser & Strauss)- als onderzoeker kan je beter zo weinig mogelijk afweten van theorie, theorie is

vervuiling van de geest (helemaal verschillend van andere visies onderzoek)=> geen open blik meer we moeten theorie bannen en vanuit observaties bevindingen maken

- in 3 fases:1. beschrijven (open coderen) 2. relaties tussen open codes opsporen (axiaal coderen) 3. kern-categorie selecteren en verder uitwerken (selectief coderen)

Voorbeeld: Awareness of dying (Glaser & Strauss) hoe beïnvloedt bewustzijn de naderende dood de interacties tussen mensen? onderzoeken door participerende observaties en interviews 4 verschillende besefcontexten geven interacties vorm:

- ‘closed awareness’: personeel is op de hoogte, patiënt niet=> interactie wordt vermeden door personeel

- ‘suspicion awareness’: patiënt heeft vermoeden- ‘mutual pretence’: beide partijen weten het, maar doen alsof ze het niet

weten- ‘open awareness’: beide partijen zijn openlijk op de hoogte

QCA: Kwalitatieve comparatieve analyse

- werkt met kwalitatieve data - op zoek naar noodzakelijke en voldoende

voorwaarden voor het optreden van een fenomeen - kwalitatieve data kwantificeren: 0/1 scores

toekennen - Booleaanse algebra

Les 9 (26/10)

H5: zelfstudie

Vragen Wat is het verschil tussen een onderzoeksvraag en waarnemingsvragen ?

bij een onderzoek begin je met een onderzoeksvraag: dit is een hele algemene vraag die omvat naar wat we onderzoek gaan doen

de vragen die resulteren uit ons onderzoekplan, die we uiteindelijk aan de proefpersonen zullen vragen, dat zijn de waarnemingsvragen

4 verschillende types van kennis (p121) Wat is het onderscheid tss verklarend en beschrijvend?

- beschrijvend: hoe is een situatie op een bepaald moment, niet proberen te begrijpen waarom (1 variabele tegelijk)

- verklarend: ons afvragen welke factoren een rol spelen, waarom iets is zoals het is,... (meerdere variabele bekijken)

Wat is het onderscheid tss evaluatief en voorspellend?- evaluatief: het evalueren van bepaalde interventies (wat zijn de

gevolgen,…)

H7: Selectie van onderzoekseenheden steekproeven

Soorten steekproeven

Onderzoek doen bij concrete eenheden steekproef = de selectie van een subset uit de bevolking 2 verschillende logica’s bij het maken van die selectie

- toevalssteekproef: elke eenheid moet een berekenbare, gelijke kans hebben om in de steekproef terecht te komen steekproef op toevalsbasis

- theoretische steekproef: eenheden met de meest informatieve waarde selecteren met als doel verdiepende kennis theoretische overwegingen

Band met visie op onderzoek?

toevalssteekproef past meer bij het naturalisme je hebt grote aantallen nodig voor zo een steekproef, je gaat meer voor kwantiteit

theoretische steekproef gaat meer de diepte in en sluit meer aan bij de visie van het constructivisme

Toevalssteekproeven

Terminologie

Populatie- verzameling van eenheden waarover het onderzoek gaat, waarover we conclusies

willen trekken- een goede omschrijving van een populatie moet heel specifiek zijn en dus ook

operationeel- speciaal universum: populatie die concreet betrokken is in het onderzoek, hier en nu- algemeen universum: denkbeeldige theoretische populatie, niet plaats- en

tijdgebonden

Steekproef- subset van de populatie die effectief betrokken wordt in het onderzoek (waar we

gaan onderzoeken) - geselecteerde elementaire eenheden = steekproefeenheden

Steekproef kader (frame)- lijst van alle eenheden die in de populatie waaruit steekproef getrokken zal worden- moet zo dicht mogelijk bij de populatie aansluiten- niet altijd even gemakkelijk zo een lijst te maken

Geplande steekproef alle geselecteerde steekproefeenhedenGerealiseerde steekproef eenheden die ook werkelijk willen meewerken aan het onderzoek= respondenten

Steekproeffractie

- verhouding aantal in geplande steekproef over aantal in de populatie - kans op opname in de steekproef

Representativiteit- in welke mate weerspiegelt onze gerealiseerde steekproef de populatie- wordt nagestreefd, maar je kan nooit bewijzen dat die er is (maatregelingen nemen

die kans vergroot)- representativiteitsanalyse

Eenheden en niveaus

2 soorten eenheden:Onderzoekseenheid of analyse eenheid

- hetgene waar we een uitspraak over willen doen- over individuen, maar ook over groepen

Waarnemingseenheid- eenheid die de informatie versterkt over de analyse eenheid- onderzoekseenheid & waarnemingseenheid = moet niet perse hetzelfde zijn

bv: onderzoekseenheid ‘scholen’, waarnemingseenheid ‘leerkrachten’

Sprake van gelaagdheid binnen sociale realiteiten aggregatie: van lager naar hoger niveau

- o.b.v. individuele kenmerken tot collectieve kenmerken komen desaggregatie: van hoger naar lager niveau

- o.b.v. collectieve kenmerken tot individuele kenmerken komen

Bij het niet netjes bij elkaar houden van die niveaus kunnen er fouten optreden 2 soorten fouten:

Ecologische fout- op foutieve wijze relatie die bestaat op hogere niveau doortrekken naar lagere

niveau- bv: proportie mijnwerkers in een regio – zelfmoordcijfers in die regio

op regionaal niveau: hoe meer mijnwerkers, hoe meer zelfdoding mijnwerkers plegen meer zelfmoord?Neen: landbouwers plegen zelfmoord aangezien ze het economisch nadeel hebben door de mijnwerkers (vechten voor hun landbouwgrond) => ongelukkig

Individualiseringsfout- het negeren van de dingen die op lager niveau kunnen gebeuren, of andersom

Foutenbronnen

3 soorten foutenbronnen bij toevalssteekproeven1. Dekkingsfout

- Wie er niet op staat kan niet worden geselecteerd - Niet up to date (bvb. lijst werknemers, maar is al een jaar oud: mensen zijn

vertrokken en er zijn nieuwe mensen aangetreden) - Meervoudige registraties. Sommigen staan twee keer of meer op lijst… - = Coverage error of dekkingsfout

2. Steekproeffout: toevallige afwijkingen ten gevolge van het werken met steekproeven i.p.v. voltallige populatie

- Toevalsselectie gebruiken, dus aselecte steekproeven - Maar ook toeval zal niet altijd perfect werken…

Altijd een bepaalde “foutenmarge”. Dit drukken we uit door resultaten niet als één cijfer weer te geven, maar als een interval (betrouwbaarheidsinterval, zie verder)

3. Non-respons fout - Is geen selectie bias bij trekking (geplande) steekproef, maar selectie bias bij

realisatie van de steekproef door weigering tot medewerken of niet-contacteerbaarheid

- Grotere vertekening naarmate er… …meer non-respons is …respondenten sterk afwijken van niet-respondenten

zie boek symbolen

LES 10 (30/10)

H7: Selectie van onderzoekseenheden

Sample size

Meest gestelde vraag bij het trekken van een steekproef: ‘hoe groot moet deze zijn?’ vraag naar sample sizeAlgemeen: hoe groter de steekproef, hoe groter de nauwkeurigheidMAAR

- ook duurder & tijdrovender- niet voldoende aandacht => minder zorg => slechtere gegevens- nagaan of grotere steekproef wel nodig is

Absolute grootte vs relatieve grootte absolute is van belang, niet de relatieve grootte met welke elementen moeten we rekening houden bij het bepalen van de grootte van onze steekproef:

elementen zie PPT

1. Heterogeniteit in populatie verwijst naar de diversiteit in de populatie gevat in variantie

Standard Error = SE = standaardeviatie

√n n = aantal eenheden binnen de steekproef

hoe groter de SE, hoe heterogener de populatie

Betrouwbaarheidsinterval berekenen

2. Gewenste kans op vergissing betrouwbaarheidsinterval 95% meestal 5% kans op vergissing gekozen

Z alfa: verwijst naar de waarde die we op de horizontale as nemen horizontale as: marge die we nemen voor het betrouwbaarheidsinterval

kleinere kansen op vergissing => kleinere precisie

3. Gewenste nauwkeurigheid verwijst naar de breedte van het betrouwbaarheidsinterval (BI) soms cruciaal om onderzoeksvraag te beantwoorden

4. Analysebehoeften hoe meer variabelen je tegelijkertijd wil gebruiken in de analyse, hoe groter je

steekproef zal moeten zijn hoe meer categorieën binnen een variabele, hoe groter steekproef zal

moeten zijn representatie marginale gevallen

5. Praktische overwegingen geld, tijd,… nodig

Types van toevalssteekproeven

Enkelvoudige toevalssteekproef- Simple Random Sample (SRS)- elke populatie eenheid heeft dezelfde kans op opname in de steekproef

(=steekproeffractie) - in praktijk niet veel gebruikt: moeilijk mee te werken

bv: eerstejaarsstudenten en hun opleiding=> percentages worden min of meer goed weerspiegeld, maar zijn niet perfect

Voordelen:› eenvoud

makkelijk uit te voeren en te analyseren Nadelen:

› kleine groepen leveren kleine aantallen op› groepen zijn misschien niet goed weerspiegeld

relatieve grote kans op extreme steekproef

Variant: systematische enkelvoudige toevalssteekproef- alleen het eerste element wordt toevallig geselecteerd- bv: onderzoek naar studenten bib

telkens 10de student nemen selectie van n-de eenheid

- gevaar = systematiek kan leiden tot vertekening bv: onderzoek naar soldaten lijsten van alle soldaten, maar zijn geordend per rang

-> telkens 10de persoon in rang nemen-> kan telkens toevallig een sergeant zijn

Gestratificeerde steekproef- eenheden worden in strata (groepen) opgedeeld volgens kenmerken

1 of meerdere kenmerken- uit elk stratum wordt een afzonderlijke steekproef getrokken

toevalssteekproef uit elke strata - grootte steekproef per stratum is recht evenredig met populatiegrootte van stratum - waarom stratificatie?

verkleinen verwachte variantie meer precisie in schattingen voor individuele strata

Probleem: kleine groepen worden ondervertegenwoordigd, grote groepen over hoe oplossen? wegen

- ene groep meer gewicht geven (ondervertegenwoordigde), andere wat minder

- wegen (corrigeren)

ClustersteekproefZIE PPT

TweetrapsteekproefZIE PPT

TweefasensteekproefZIE PPT

Kwantitatieve niet-toevalssteekproeven- steekproeven waarvan de selectie niet toevallig is

QuotasteekproefZIE PPT

Theoretische steekproeven- natuurlijke of theoretische steekproef - op basis van theoretische gronden

doel = cases die rijk zijn aan informatie zoeken naar grootst mogelijke variatie of op zoek gaan naar hele specifieke cases

- verschil toevalssteekproeven: selectie op toeval vs. informatieve waarde gesloten vs. interactief en open vooral bepaalde sample size vs. criteria van theoretische verzadiging en actief zoeken naar negatieve gevallen (sample size niet vastgelegd op voorhand)

Bv: ‘Silent community’ Delph doel = op welke plaatsen anonieme, vluchtige homoseksuele contacten plaats tss

mannen in NY + hoe verlopen ontmoetingen aanpak: ‘steekproef’ van plaatsen, en dus niet van personen

Verschillende vormen: Sneeuwbalsteekproef

- 1 of meer starteenheden (brengen je in contact met anderen)- gevaar = blijven steken in kliekjes

Doelgerichte steekproeven- selectie van informatierijke elementen

Gelegenheidssteekproef- steekproef nemen waar je bij gelegenheid toegang tot hebt

(strategie wordt niet echt geprefereerd)

Les 11 (09/11)

H8: Experimenteel onderzoek

Rijkdom en ethiekExperiment 1: ‘Higher social class predicts increased unethical behavior’Veroorzaakt rijkdom het stellen van onethisch gedrag?

vraag naar causaliteit tussen 2 elementen- voorwaarden bij spreken over causaliteit: covariantie van 2 elementen,

tijdsvolgorde, afwezigheid schijnrelaties en sterke theoretische grond

Experiment 21. 2 groepen ingedeeld: hoge en lage mindsets (het zich voelen als hoge klasse of lage

klasse)- hoe gedaan dat de ene zich hoog voelt, de andere zich laag?

vraag gesteld: ‘sta je hoger of lager dan deze persoon? (persoon met hoge status)

- groepen zijn dus op toevallige wijze gecreëerd 2. Na experiment: “bedankt om deel te nemen aan onderzoek, we zijn klaar. Daar staat

nog een pot met snoep, dus als je eentje wil nemen, doe maar.” snoepje nemen = onethisch gedrag (snoep is voor de kinderen)

- resultaat: respondenten uit de hoge klasse mindset nemen gemiddeld sneller een snoepje sneller snoepje afpakken van kind

3. Besluit (?): indien hoge mindset meer snoep neemt dan lage denken te behoren tot een hogere sociale klasse veroorzaakt onethisch gedrag

Mag dit besluit worden? Het enige verschil tussen beide groepen is de sociale klasse mindset alleen deze factor kan het verschil in het aantal genomen snoepjes verklaren alle andere factoren zijn onder controle gehouden

=> Besluit dat kan gemaakt worden: het stimuleren van de mindset veroorzaakt het wel of niet nemen van snoep

Het klassieke experiment

ExperimentOorsprong: Willem Jakob’s Gravesande (17e-18e E)

realiteit beïnvloeden (bal verwarmen) en dan opnieuw meten kennis komt voor uit observatie past binnen naturalistische traditie: kijken naar oorzaak-gevolg relaties,…

laboratorium experiment2 belangrijke types van experimenten

veldexperiment

In labo, sterke controle setting, maar ook zeer artificieel

experimenten in “werkelijke wereld” zoals klassen, organisaties,…

Het klassieke experiment

4 belangrijke elementen Hypothese (vermoeden) van wat iets veroorzaakt 1

“rijkdom veroorzaakt onethisch gedrag” De onderzoeker definieert twee situaties waarbij het al dan niet optreden van de

vermoedelijke oorzakelijke factor wordt gemanipuleerd 2 hoge vs. lage klasse mindset

Eenheden wordt op toevalsbasis aan één v. beide situaties (condities) toegewezen 3 We vergelijken de toestand op de afhankelijke variabele (voor en) na de

experimentele manipulatie 4 neemt een groep meer snoepjes dan de andere?

4 stappen1. Hypothese over oorzaak afkomstig uit theorie of vorig onderzoek2. Verschillende situaties definiëren

experimentele conditie = conditie waarbij de vermoedelijke oorzaak wel optreedt controle conditie = conditie waarbij de vermoedelijke oorzaak niet optreedt meest eenvoudig experiment: 2 condities

3. Toevallig eenheden toewijzen = randomiseren - alternatief voor randomisatie = matching

4. Vergelijken situatie

Klassieke experiment bestaat uit voormeting en nameting

R = random assignement (toevallige toewijzing)O = observatieX = experimentele manipulatie

VoormetingWaarom?

- om te kijken: klopt het wel dat deze groepen aan elkaar gelijk zijn? heeft de randomisering goed gewerkt?

- bij matching: nog belangrijker om voormeting te doen want kans hier is nog groter dat groepen van elkaar verschillen

Netto effect?Bij eerste groep 0,8 en andere groep 0,6 toeval heeft niet volledig gewerkt hoe oplossen? netto effect van experimentele manipulatie (correctie toepassen)

Voormeting- laat toe dat ‘netto effect’ bepaald kan worden - maar kan ook neveneffect hebben: reactiviteit

Hawthorne experimenten

Les 12 (16/11)

H8: Experimenteel onderzoek

Spreading of disorder

Studie 1 op grond gooien van flyers aan fietsstuur 2 gelijkaardige tijdsstippen genomen

per conditie: 77 individuen bestudeerd resultaat: in de ene conditie 70% papier gewoon op de grond gooien, andere conditie

maar 33% verbazingwekkend: als individu eigen G bepalen (persoonlijke beslissingen) graffiti op muur of niet zal bepalen welk G we stellen norm overtreden => stimuleert nog meer norm overtredend G

Studie 2 condities: fietsen op verboden plaats of geen fietsen

verboden plaats was kortere weg naar een bepaalde plek resultaat: zelfde patroon vorige studie

80% van mensen neemt kortere weg doordat er al een norm overtreden is (fietsen die er staan op verboden plek)

Studie 5 en 6 brievenbus: envelop gestoken in brievenbus

duidelijk te zien dat er 5 euro in zit, en hangt een beetje uit brievenbus 2 keuzes als voorbijganger: enveloppe pakken of enveloppe duwen in brievenbus verschillende experimentele condities:

- controle conditie (niks bijzonders)- andere condities norm overtredend G toegevoegd: graffiti op brievenbus + graffiti op brievenbus en vuil op de grond

resultaat: verschil iets minder groot, maar wel te zien

VRAAG: Beantwoord dit onderzoek aan het klassiek experimenteel design?- Geen sprake van een goede randomisering (iedereen die voorbij wandelt zit in de

conditie) - Geen voormeting: maar 1 keer gemeten (iemand 5 euro steelt, kortere weg neemt of

flyer op grond gooit) je kan mensen niet 2 keer confronteren met die 5 euro of een flyer aan hun fietsstuur

- Gevolgen van interne geldigheid: we zijn niet 100% zeker over causaal effect, want er kunnen andere zaken in het spel zijn waarvoor niet gecontroleerd is

Geldigheid in experimenten Externe geldigheid:

- populatiegeldigheid: als participant speciale groep zijn veralgemenen naar algemene populatie?

- naturalistische geldigheid: hangt af van welk soort experiment veldonderzoek scoort hier heel goed op: natuurlijke situatie, persoon die wordt onderzocht gaat zich niet anders gedragen want weet niet dat hij in een experiment zit voor lab experiment een groter probleem: individu weet dat hij/zij in een experiment zit

Interne geldigheid:- sterk punt van experimenten: grote zekerheid dat de factor waaraan we het

effect toeschrijven inderdaad de verantwoordelijke factor is

Interne geldigheid is niet altijd 100% gegarandeerd bepaalde bedreigingen:

buitenexperimentele gebeurtenissen (history)- soms gebeurd er iets los van je experiment wat je resultaten beïnvloed en

alles door elkaar kan gooien- bv: flyers en fietsen onweer waardoor mensen zich anders gaan gedragen,

of politie wagen die voorbijrijdt waardoor ze minder snel flyer op de grond gooien

- vooral gevaarlijk als die factor maar bij 1 van de 2 condities voorkomt (local history) en niet bij beide condities

- vooral geval veldexperimenten: weinig controle over setting

maturatie of spontane verandering- bij onderzoek bij individuen kans op ontwikkeling

=> anders scoren door natuurlijk rijpingsproces- bedreiging voor de causaliteit door te denken dat dit een echte factor is

effect van de voormeting / practice effect- practice effect: anders scoren op experimenten doordat je getraind bent door

het experiment vaker gedaan te hebben

instrumentatie- als instrumenten na verloop van tijd niet meer goed gaan werken

differentiële groepssamenstelling - groepen zijn toch verschillend van elkaar ondanks de randomisering

- vaak in geneeskundige experimenten ene placebo en andere echt experiment na verloop tijd sommige weg uit experiment doordat het te lang duur=> 1 bepaalde groep die weg gaat (probleem)

statistische regressie- bv: prestatie sporters

fenomeen: meting van batting average bepaalde sporters die je daarvoor onderzoekt en een jaar later opnieuw, zullen het jaar nadien altijd slechter doen dan het jaar ervoor wie een bepaald jaar slecht scoort, zal je jaar nadien wel vaak goed scoren

- scoren kruipen naar het gemiddelde toe regressie naar het gemiddelde- niet zien als causaal effect, maar als een fenomeen

extremen worden minder extreem, minder extremen worden extremer

verwachtingen- participanten: blind- onderzoekers: dubbelblind

ook zij hebben bepaalde verwachtingen => kan resultaten besmetten(bv: hopen op spectaculaire resultaten waarmee onderzoeker bekend zal worden)

- bv: Clever Hans effect paard kon tellen, rekensommen maken wat was er aan de hand: eigenaar zo trots dat paard kon rekenen waardoor hij onbewust bepaalde lichaamstaal uitstuurde naar paard zodat paard wist wanneer hij met zijn been moest stoppen met tikken

- bv: placebo effect zelf wanneer er aan de mens een niet echt medicijn gegeven wordt => verwachtingen dat het zal helpen, want ze hebben een pil gekregen omgekeerde effect = nocebo-effect

Quasi- & pre-experimentenKlassiek experiment valt niet altijd uit te voeren soms van afwijken => zorgt voor een groter risico op bedreigingen waarom niet altijd haalbaar?

praktisch of ethisch niet mogelijk (bv: Milgram)

Quasi-experimentele designsAlternatief: quasi-experimentele designs

wijken op bepaalde punten af van experiment zwakkere designs dan het klassieke experiment 3 verschillende soorten: niet-equivalent ontwerp met vergelijkingsgroep,

afzonderlijke-steekproef ontwerp met voor- en nameting en tijdsreeksontwerp

Niet equivalent ontwerp met vergelijkingsgroep

2 groepen- randomisering is niet aanwezig (groepen zijn niet toevallig samengesteld)

bestaande groepen kunnen dus verschillen van elkaar = verschilpunt met klassieke experimenten

- er gebeurd een voormeting: daar kijken of groepen genoeg gelijk zijn aan elkaar? oplossing is beperkt

Voorbeeld gevaar differentiële groepsindelingDutton & Aron: ‘bepaalde mensen angst laten voelen en andere niet’

- zij die angst voelen zijn diegene die in de conditie zitten, andere zijn de controlegroep

- brug in VS: bewegelijke hangbrug op hele grote hoogte= angstconditie

- houten stabiele brug= niet angstconditie

- onderzoeksters op brug gestuurd (knappe onderzoekster) sprak mannen aan: ‘ik zoek mensen die voor mij een creatief verhaal willen schrijven’ (prent gegeven) inhoud werd nadien beoordeeld: gekeken naar in welke mate er seksuele inhoud aanwezig was (seksuele opwinding) resultaten: op stabiele brug is score veel lager dan op angstige brug (score: mate waarin er seksuele inhoud aanwezig is in verhaal) concluderen: angst veroorzaakt meer seksuele opwinding?

- 2e meting toegevoegd: ‘bedankt voor je verhaal, moest je geïnteresseerd zijn in de resultaten, hier is mijn telefoonnummer’ook mannelijke interviewers op pad gestuurd: niet dezelfde resultaten bij mannen als wanneer ze tegengehouden worden door een vrouw resultaat: zij op angstige brug gaan meer bellen naar vrouw dan zij die op stabiele brug liepen

Mogen we dan die ene conclusie maken?- groepen zijn van begin af aan verschillend van elkaar (sommige huisvaders (veel

minder snel bellen),…) slecht

Afzonderlijke-steekproef ontwerp met voormeting en nametingDesign nuttig voor bijvoorbeeld communicatiestudenten die willen zien of een campagne effect heeft of niet

Voorbeeld: effect informatie campagne Vlaamse overheid in dag- en weekbladen - twee steekproeven (A en B) - effect: kennis B – kennis A- buitenexperimentele gebeurtenis: 3de factor die invloed heeft

Tijdsreeksontwerp

Longitudinale aanpak voor onderzoek (gedurende een langere periode een individu onderzoeken)

Er kunnen zich allerlei zaken voordoen als patroon niet heel zichtbaar is, is het moeilijk om over een causaal verband te spreken

Pre-experimentele designs nog minder sterk dan quasi experimenten (zeer zwak experiment)

nog minder controle op interne geldigheid enkel gebruiken als het niet anders kan

voorbeelden: ontwerp met alleen nameting ontwerp met voor- en nameting bestaande groepen met alleen nameting

Ontwerp met alleen nametingGeen oog voor alternatieve verklaringen, niet veel gegevens om mee te werken

Ontwerp met voor- en nametingMeting op voorhand er gebeurd iets nameting

Maar 2 metingen: voor en na- situatie voordien gebruiken om te zien wat er veranderd is in situatie nadien- wat als er een buitenexperimentele gebeurtenis is? …

Voorbeeld: antirook campagne op school - dit soort design gebruiken- op voorhand meten: ‘rook je of niet?’- na campagne nog eens meten daling?- conclusie trekken dat campagne gewerkt heeft?

neen alternatieve verklaringen: voormeting heeft gezorgd voor realisatie dat roken slecht is (en dus niet campagne zelf),…

Voorbeeld: laag geschoolde jongeren helpen aan een job geraken (plan)- intensieve collectieve begeleidingsmethodes uitgeprobeerd om jongeren

verantwoordelijk te maken en hun helpen aan een job te geraken- resultaat: zeer sterke daling van jeugdwerkloosheid (40%)

conclusie: plan heeft heel goed gewerktMAAR niet zomaar maken want we hebben geen controlegroep waarmee we kunnen vergelijken daling was niet enkel in Oostende (waar plan werd toegepast) te zien, ook in andere dorpen

Bestaande groepen met alleen nameting Geen randomisering of voormeting

- groepen zijn niet op toevallige wijze samengesteld en we kunnen op voorhand niet weten of groepen ongeveer gelijk zijn aan elkaar

FOUT IN PPT: effect = 01 – 02

Oefeningen

Welke onderzoeksvraag hoort bij welk design?

Onderzoeksvraag 1 Onderzoeksvraag 2 Onderzoeksvraag 3Experimenteel design B

- campagne wordt uitgevoerd: je doet die voor iedereen iedereen ondergaat experimentele conditie

Experimenteel design C- je kan als directie niet

beslissen wie rookt en wie niet (geen controle op)

- een voormeting doen is moeilijk

- redelijk beperkt: rokers en niet-rokers vergelijken met een nameting

Experimenteel design A

Les 13 (20/11)

H9: Survey onderzoek

Survey- relatief grote steekproef van respondenten- gestandaardiseerde vragenlijst- veralgemening naar grotere populatie- statistische analyse

Fouten minimaliseren door: aandacht vraagverwoording, geschikte survey mode en non-responsfout terug te dringen

2 survey onderzoeken naar de vraag ‘Moet België splitsen?’ - verschillende resultaten bij beide onderzoeken

- vanwaar de verschillen?› VRT-enquête

minder genuanceerde antwoordmogelijkheden mensen die twijfelen zeggen makkelijker ‘goede zaak’ dan ‘slechte

zaak’ afwezigheid geen-mening filter ‘eventuele’ maakt het makkelijker om te bevestigen

› meetfout elke survey maakt bepaalde fouten, sommigen zijn groter dan de

anderen verschillen in fouten leiden tot verschillen in resultaten

Soorten vragen

Open vragen <-> gesloten vragen antwoorden liggen niet vast antwoordmogelijkheden

liggen vast en daarin keuze maken

Voor- en nadelen open/gesloten vragen- voordelen open vraag

interessant voor respondent geen question constraint: afbakening geen sturing: geen lijst met antwoordmogelijkheden, antwoord is vrij

- nadelen open vraag lastig te analyseren vergt veel van respondent

- bij ranking vragen gesloten vragen voordeel: dwingt mensen om keuzes te maken nadeel: complex!

Feitenvragen- vragen naar kenmerken, gedragingen of gebeurtenissen (hele concrete zaken)- objectief vast te stellen - bv: welke richting studeer je? - er bestaat een ‘waar’ antwoord (bv: wat heb je gisteren avond gegeten?) maakt ze

zaken al iets eenvoudiger, MAAR er kunnen nog steeds fouten ontstaan (foutenbronnen)

› soms herinneren de respondenten zich de feiten niet meer (bv: te lang geleden)

› sommige feiten geven mensen niet graag toe (onwenselijk) › informatie is onnauwkeurig omschreven

The Kinsey reportsAlfred Charles Kinsey (1894-1956)

- onderzoeker naar insecten na een tijdje is zijn interesse verschoven naar het menselijk gedrag (want ook dieren)

- onderzoek gedaan naar seksueel gedrag bij de mens m.b.v. survey onderzoek geprobeerd ‘het onwenselijke’ van vragen zo hard mogelijk weg te werken

Methodologie 1. Intro (2 à 10min)

- doel van de studie uitleggen- confidentialiteit garanderen + appreciatie voor medewerking uiten (‘het zou

fijn zijn als u zou meewerken’)- benadrukken dat geen waardeoordelen geveld worden

2. Data verzameling- vragenlijst, van minder naar meer bedreigend- vragen cru stellen- Burden of denial: gedrag wordt verondersteld, vragen hoe vaak het voorkomt

(en dus niet vragen naar of ze dit of dat al gedaan hebben, gewoon hoe vaak al)

3. Afsluiten- bedanken- kans geven om vragen te stellen

Aanbevelingen: zie PPT

Kennisvragen- peilen naar wat mensen weten over een bepaald onderwerp - waarom in survey onderzoek?

› rechtstreekse interesse in wat mensen weten› relatie tussen kennis en andere variabelen › onrechtstreekse interesse om betrokkenheid bij thema (attitude sterke = hoe

sterk iemand overtuigd is in zijn opinie) te meten - bedriegend karakter: mensen op hun gemak stellen

in voorbeeld PPT: ‘Er zijn weinig mensen die exact weten hoe hoog dit leefloon is’ hiermee mensen gerust stellen

Gaan mensen hun opinie veranderen door het aangehaald worden van tegenargumenten- zwakkere attitude- hoe beter je kennis, hoe sterker je attitude => hoe zekerder je bent in je opinie

Vraag toegevoegd aan ‘wat is het leefloon voor mensen die onvoldoende bestaansmiddelen hebben?’, nl. ‘wat vind je van dit bedrag?’ opinievraag

Opinievragen- vragen naar bevragen psychologische of mentale toestanden die niet rechtstreeks

waarneembaar zijn

- egalitarisme / gelijkheidsstreven

Model van vraag-antwoord proces 5 stappen bij de respondent (die soms ook kunnen mislopen)

1. begrijpen van de vraag2. cognitief proces3. evalueert antwoord in termen van accuraatheid 4. evalueert antwoord in termen van andere doelen (imago)5. geeft een accuraat antwoord

Mogelijke fouten die kunnen optreden R’s keuze of wijziging van het antwoord op basis van aanwijzingen (‘cues’) van:

› interviewer (perceptie van kenmerken en gedrag)› vraagverwoording (vorm context)

R geeft geen accuraat antwoord:› conformiteitsbasis› wenselijkheidsbasis› volgzaamheidsbasis› andere

RAS-model- Zaller- om een beter idee te krijgen over dat cognitief proces- mensen staan constant bloot aan een grote informatie stroom (=receive)

kan je niet allemaal verwerken sommige dingen opnemen (= accept, receptie) en sommige informatie niet (=resistentie)

- wat we wel opnemen zijn overwegingen en hangen samen met attitude van de persoon

- model: mensen boksen hun opinie in elkaar op het moment dat een onderzoeker hen een vraag stelt waarom doen we dit?

Centrale vs. perifere verwerking- centrale beslisser (schildpad) = informatie diepgaand verwerken

› traag, doordacht› rationeel, op basis van argumenten› cognitief belastend

- perifere beslisser (haas) = informatie oppervlakkig verwerken› quasi-automatisch › op basis van heuristieken, indrukken en gevoelens› cognitief veel gemakkelijker

Keuze route:- belang (motivatie)- taakmoeilijkheid / cognitieve vaardigheden

Het belang van vraagverwoordingAntwoorden op enquêtevragen zijn onderhevig aan responsfouten en responsstijlen

Info in antwoordschalen- mensen gebruiken antwoordschaal om zich een idee te vormen over ‘ware verdeling’

in populatie heuristiek (perifere route) waar zou ik ongeveer zitten tegenover de rest?

Volgorde effecten- informatie meenemen van de ene vraag naar de andere vraag - context van een vraag wijzigt de interpretatie en cognitieve verwerking

Question constraintAls je mensen verplicht een keuze te maken, dan kiezen ze gewoon als er een optie is ‘geen mening’: meer gekozen

Les 14 (23/11)

H9: Survey onderzoek

Oefening vragenlijst over ‘geslachtsgemeenschap zonder toestemming’- type vraag?- problemen?

probleem 1: de vraag begint met ‘sommige mensen vinden…’ wat insinueert dat de meeste mensen vinden dat het gerechtvaardigd kan worden probleem 2: moeilijk de vraag juist te interpreteren aangezien hij moeilijk verwoord is

- hoe verbeteren?

IntroMeerdere aspecten bij een survey modus

hoe ga je de respondenten contacteren? hoe wordt de vraag gecommuniceerd? hoe registreer je het antwoord van de respondent?

=> schema van alle mogelijke survey modes

MSAQ: populairder geworden vroeger heel veel

post, dus vragenlijst verdween in alle post nu veel minder

Keuzes voor survey modes hebben consequenties: belangrijke verschillen tussen aanwezigheid van interviewer of niet

makkelijker om ‘onwenselijkere’ vragen te beantwoorden via een forum/online registratie dan tegen iemand die je ondervraagt kostprijs is hoger met interviewer

Interviews

Verschillende voordelen non-respons error verminderen

50-60% respons meetfouten reduceren

problemen bij interpretatie volledigheid meer complexe zaken: interviewers kunnen helpen context effecten: volgorde van vragen

- interviewer kan helpen …

Nadelen: brengt soms ook meetfouten met zich mee sociale wenselijkheidsvertekening interviewer effecten: bij een andere interviewer krijg je vaak andere resultaten

(kunnen een bepaald antwoord uitlokken bij respondent) antwoorden hangen voor 20% af van interviewer

Nadelen praktische aard hoge kostprijs organisatorisch tijdintensief

Zelf-in-te-vullen vragenlijsten

Voordelen:- goedkoper- tijdsbesparing kan snel gebeuren

- invullen op door R gekozen geschikt moment bij interview kan het zijn dat respondent geen tijd heeft waardoor hij niet wil deelnemen aan onderzoek

- goede bereikbaarheid interviewer: moeilijk en moeilijk om bij de mensen thuis te geraken aangezien er gewerkt wordt met een intercome waardoor je niet bij de respondent geraakt

- indruk van anonimiteit - meer gestandaardiseerd

iedereen krijgt precies dezelfde stimuli of vragen

Computergestuurd

Voordelen:- duidelijkere controle over de routing

routing programmeren met computer => minder fouten gemaakt routing: antwoord op deze vraag, indien antwoord ‘ja’ ga dan naar vraag 3 computer zal automatisch naar die vraag gaan, terwijl je op papier echt moet gaan zoeken, maakt het moeilijker

- controle over ingevoerde in gegevens - vermindering codeerfouten (input fouten)

geen fouten bij de input

Experimenten gemakkelijk te implementeren experimenten in surveys 2 alternatieve/versies van vraagverwoording: welke van de 2 je krijgt is toevallig de ene groep een iets andere beschrijving geven over een persoon in de vraag dan de andere duidelijk zien of er bijvoorbeeld sprake is van discriminatie Process data: bijproduct bij het proces van verzamelen van data bv: hoe lang respondenten naar een bepaalde vraag gekeken hebben (kan computer bekijken) bv: muisbewegingen die bekeken worden

Nadelen: kostprijs rigider drempelvrees/big brother gevoel

angst om met computer te werken want is minder veilig dan het op papier te schrijven heel hard verminderd: niet meer zo veel belang voor privacy

PostenenquêteVroeger altijd een slechte naam gehad verandering in gebracht door Don Dillman

Don DillmanWou een survey doen in staat Washington

- probleem: geografie staat want wordt door 2 gesplitst door een bergketen je moet 2 aparte veldwerken doen, interviewers op en af laten gaan,…

- DUS postenquête doen: maar in die tijd nog niet zo optimaal verbeterd door Tailored Design Method (gebaseerd op de sociale ruiltheorie)

Sociale ruiltheorie (Homans)Mensen gaan telkens een kosten-baten analyse maken bij het doen van een ruil. Ook bij survey onderzoek een ruilrelatie tussen interviewer en respondent. Over welke kosten en baten zou het kunnen gaan?

Kosten: tijd informatie vrijgeven die je misschien niet vrij wilt geven kan misbruikt worden

Baten (waarom de survey toch invullen?): goed gevoel door dankbaarheid persoonlijke interesse gevoelen van waardering gevoelen bij te dragen tot wetenschappelijk project

Wat doen om respons op te drijven? kosten verlagen

korte, gemakkelijke vragenlijst baten verhogen

persoonlijk aanspreken van mensen vertrouwen verhogen

werken met incentives: kleine cadeautjes op respondenten over de streep te trekken om toch mee te werken uit onderzoek best cash incentives geven: cash geld (moeten maar hele kleine bedragen zijn), zorgt voor vertrouwen pre-paid: geld op voorhand geven met de vraag of ze willen deelnemen aangezien je zo een vertrouwensband creëert legitieme survey sponsor: ‘ik doe dit survey in naam van deze universiteit’ ipv ‘ik doe deze survey in naam van een klein bedrijfje dat niemand kent’

Tailored Design Method5 stappen

1. eerste introductie brief, aankondigen onderzoek2. enkele dagen later: vragenlijst opsturen, retourenveloppe, eventuele incentive,…

vragenlijsten moeten genummerd worden! wie heeft al geantwoord, wie nog niet

3. na 2 weken: bedankkaartje en herinnering (voor moesten mensen het nog niet gedaan hebben)

4. na 4 weken: bedankkaartje en vragenlijst voor non-respondenten 5. na 8 weken: laatste poging om belang onderzoek aan te tonen

naargelang budget

Web enquêtes= elektronische variant van postenquête

Problemen: non-respons MAAR ook dekkingsprobleem! niet iedereen heeft internet verbinding, niet van iedereen email-adressen,… maakt steekproeftrekking zeer problematisch voor algemene populaties vooral nuttig bij specifieke populaties: studenten, werknemers,… (wel die lijsten, internetverbinding,…)

Oplossingen? On-line panels = verzamelingen van groepen mensen die aangegeven hebben mee te

willen werken aan onderzoek krijgen voordelen maar panels zijn vaak selectief (bepaald soort mensen) en daardoor niet representatief voor algemene populatie

Wetenschappelijke internetpanels zorgen dat je heel de bevolking kan opnemen in je panel door hun een computer aan te bieden,…

Wegen geen echte oplossing omdat je verondersteld dat je kan wegen op alle variabelen die van belang zijn

Web enquêtes: gebruiken voor selectieve groep waarbij je dekkingsprobleem opgelost hebt

Toepassingsmogelijkheden? gesloten populaties algemene populaties indien steekproef getrokken uit goed frame en offline

contacteren om bepaalde zaken uit te testen

Ook hier respons opdrijven o.b.v. TDM!

Effect van personalisering geldt ook bij web enquêtes(bv: mensen aanspreken met naam en voornaam)=> hogere respons

Mixed mode surveys= niet 1 mode gebruiken, maar er meerdere gebruiken en op die manier het beste van alle modes samen te brengen

Hoe het meestal gedaan wordt: sequentieel design

beginnen met respondenten te benaderen met de goedkoopste mode (web) die niet respondenten herbenaderen met iets duurdere mode (post) die niet respondenten benaderen met en nog iets duurdere mode (telef.)…

Problemen mode effecten

exact dezelfde vraag geeft verschillende antwoorden in verschillende survey modi elke survey mode brengt zijn eigen fouten teweeg kan je antwoorden op een interview wel vergelijken als die online?

Oplossingen vragenlijst zo veel mogelijk standaardiseren over de modes heen

antwoordmogelijkheden verminderen zodat je ook telefonisch te werk kan gaan….

MAAR mode effecten blijven aanwezig!

Naast ze proberen te minimaliseren, ook proberen te schatten probleem: differentiële groepssamenstelling

Ander design gebruiken wat die mode effecten uit de weg ruimt, nl Simultane mixed mode designs je nodigt bijvoorbeeld 1000 mensen uit om mee te werken aan onderzoek vervolgens randomiseren (die bellen we, bij die doen we een interview) als je dan verschillen ziet, dan is er sprake van mode effect

Verschil sequentieel en simultane design

Les 15 (27/11)

H10: Secundaire data-analyse en niet-reactief onderzoek

Niet-reactieve dataWe gaan bepaalde observaties doen, maar hetgeen wat we observeren weet niet dat we het observeren problemen zoals medewerking vragen,… hiermee oplossen

Types niet-reactieve data fysische sporen tekst & beeld administratieve data & officiële statistieken transactie & social media data

Andere vorm van niet-reactieve data: secundaire data-analyse

(1) Fysieke sporenBij het bekijken van sporen gebruiken als informatiebron

2 soorten:- indicatoren van erosie

vb: bij het staan in de lift drukken op de knop sommige knopjes zijn meer afgevaagd dan anderen is dus een spoor van de mens, werd veel gebruikt vb: populariteit tentoonstelling ~ verslijten vloertegels

- indicatoren van aanwas toevoeging van sporen van de mens niet-reactieve data: mensen schrijven daar iets op, maar zijn zich er niet van bewust dat onderzoekers dit gaan bekijken of bestuderen vb: vuilnisvb: geschriften op publieke toiletten

Voorbeeld naar drugsgebruikUitspraak doen naar hoeveel drugs er gebruikt worden door de bevolking

- survey-enquête- rekening houden met metings- en representatiefouten

non-responsfouten: op een onderschatting komen aangezien de niet-drugsgebruikers sneller zullen deelnemen aan het onderzoek dan drugsgebruikers

- daardoor dus survey-enquête niet het beste onderzoek voor de uitspraak te kunnen doen wat is beter? niet-reactief onderzoek

- wat gebeurd er al je cocaïne gebruikt? komt in je lichaam verwerken chemische processen: productie van een bepaalde stof die in de urine terecht komt naar het toilet doorgespoeld en komt terecht in riool en vervolgens in zuiveringsstations

- wat gedaan: onderzoek in die zuiveringsstations afvalwater afgetapt ! 24uurs steekproeven genomen (fles vult zich zeer langzaam over de 24u) een hele week lang (drugsgebruik kan naargelang dag van de week verschillen)

- resultaat: Antwerpen heeft heel hoog gebruik van cocaïne - probleem: een hele boel vraagstellingen kunnen niet beantwoord worden aangezien

niet-reactieve data moeilijk valt te verbinden met andere uitsprakenbv: welke groepen? wat zet hun aan drugs te gebruiken?

(2) Tekst & beeldSchrijver is zich niet langer bewust van mogelijke analyses eens teksten & beeld gepubliceerd zijn

Hoe teksten & beelden verzamelen? Analyse inhoudsanalyse (content analysis)

zowel kwantitatief als kwalitatief coderen van de inhoud

- frequentie, richting, intensiteit, ruimte- manifest of latent

afleiden van patronen over representaties van sociale fenomenen

Voorbeeld ENANieuwsarchief: houdt alle 19uur journaals bij en codeert deze beschouwt de teksten, beeldfragmenten,… als niet reactieve-data

Onderzoek naar verschillende politici die aan bod komen- ‘Tv-journaal laat Franstalige politici te weinig aan bod’- ruim 70 % van politici die aan bod komen, zijn Nederlandstalig - als Nederlandstalige politici aanbod komen, laten ze hem ook meer aan het woord- als Franstalige politici aanbod komen, krijgen ze meestal niet het woord

(3) Administratieve data & officiële statistiekenEr wordt gebruik gemaakt van onderzoek dat door de overheid gedaan wordt overheid verzamelt data over de burgers om zijn functie zo goed mogelijk uit te voeren

Onderzoek naar etnische discriminatie op arbeidsmarkt- indirecte benadering: survey onder werknemers- praktijktest: uitsturen fake sollicitatiebrieven

experimenteel design- directe benadering: bekijken van arbeidsstatistieken

kijk naar administratieve data die door de overheid bijgehouden wordt geen fouten die wel voorkomen bij de andere 2

Soort administratieve data: sociale indicatoren= statistische maten die gebruikt worden om het welzijn van de populatie te onderzoeken bekendste voorbeeld: HDI (Human Development Index)

(4) Transactie & social media dataTransactie data:

- wordt als automatisch gegenereerd - bijproduct van menselijke transacties en activiteiten

- bv: credit card data, informatie m.b.t. verkeersstromen Social media data:

- gecreëerd door mensen- met als doel om te delen met anderen

‘Big data’= data/gegevens die opgeslagen worden die heel groot in volume zijn (big), die snel verzameld worden en die niet echt netjes gestructureerd zijn

Secundaire data- data die door onderzoekers is verzameld in het kader van vorige onderzoeken, maar

publiek beschikbaar is gemaakt voor her-analyse

Voor- en nadelen Voordelen

(redenen om niet-reactieve data of secundaire data te gebruiken)- inhoudelijke redenen

moeilijk anders onderzocht worden van bepaalde onderwerpen vergelijking met het verleden

- methodologische redenen mogelijkheid tot replicatie (vorige resultaten opnieuw bekomen) niet-reactiviteit hogere data-kwaliteit mogelijk door gemeenschappelijke investering in data-infrastructuur

- economische redenen vaak goedkoper dan eigen data verzamelen

Nadelen(valstrikken/beperkingen)

- datakwaliteit laat vaak te wensen over: aangewezen op beschikbare indicatoren => gebrekkige operationaliseringen meestal slechts 1 of enkele variabelen tegelijk beschikbaar geven niet altijd correcte weerspiegeling van populatie(heel fout beeld opwekken) meetfouten komen veelvoudig voor

- toegankelijkheid is niet altijd verzekerd- vergankelijkheid- etnische problemen

Conclusie: interessante aanvulling op andere databronnen, maar kan ze niet volledig vervangen + nut hangt af van specifieke onderzoeksvraag

Les 16 (30/11)

H11: Veldonderzoek en participerende observatie

Structuur les: enkele voorbeelden basiskenmerken typologie van veldonderzoek verloop van veldonderzoek veldwerknotities

When prophecy fails…

The Mayan apocalypse- einde van de cyclys => einde van de wereld?- survey gedaan wereldwijd

10% ligt wakker dat de wereld op die datum zal eindigen hoe validiteit in twijfel trekken? vraag op verschillende manieren interpreteren

de wereld zal echt vergaan en daar geloof ik in? of ja de kalender stopt, maar daar geloof ik niet in?

=> volgens andere onderzoekstraditie bekijken

When prophecy failsFestinger, Riecken & Schachter (1956)

Vraagstelling: ‘Hoe gaan mensen ermee om als diepgewortelde overtuigingen plots door de empirie ontkracht worden?’

Op zoek gaan naar een case:- diepgewortelde overtuiging- eraan gebonden- voldoende specifiek- ze bekennen dat de empirie hun overtuiging tegenspreekt- voldoende social support

Hoe onderzoeken? Kwantitatieve logica past hier niet, het zijn hele specifieke groepen (dus in de diepte gaan)

PARTICIPERENDE OBSERVATIEOnderzoekers zijn undercover gegaan en zijn toegetreden in een sekte (the Seekers)

- kijken hoe de momenten, voor en na het (niet) uitkomen van de voorspelling, verlopen

- hoe zullen ze omgaan met de disconfirmatie?

- observaties dagen voor 20 dec: groep trekt zich terug uit te publiciteit (daarvoor net wel in publiciteit willen komen) 20 dec: verwachting dat er een buitenlands wezen hun zal komen halen en mee zal nemen naar een veilige planeet

plots 5 na 12: overtuiging volledig onderuit gehaald? eerste reactie groep: andere klok geeft een ander uur aan (11u55), het is dus nog altijd geen middernacht weer 5 min verder: stilte in groep, angst

enkele uren later een zogezegde boodschap: ‘omdat jullie zo een goede groep gelovigen zijn, zal de wereld niet vergaan en gered worden door God’

Street corner societyAndere onderzoekers: zochten allemaal gegevens op voor de stad ‘Boston’ kwantitatieve aanpak daarmee tonen hoe de structuur van de wijken is

PARTICIPERENDE OBSERVATIE- wijk ‘Cornerville’- kamer gevonden bij een Italiaanse familie

zoon ‘Doc’ is informant, zal hem wegwijs maken in de wijk- verborgen waarneming = hij stelt zich bij niemand voor als onderzoeker, maar als

kennis van Doc - bijzonder fenomeen bij bowling

hiërarchie kwam overeen met de scores van het spel hypothese: als mensen bowling spelen, dan gaan ze hiërarchie internaliseren

de leider moet winnen (eer staat op spel), en de lagere moeten niet goed presteren (anders schaden ze de orde)

- ander onderzoek opgezet om hypothese te bestuderen

BasiskenmerkenVeldonderzoek / participerende observatie / etnografie

onderzoeker begeeft zich in het ‘veld’ (=natuurlijke omgeving onderzoekseenheden) verblijf gedurende langere periode participatie aan leven onderzochte subjecten aandacht voor dagdagelijkse bezigheden cultuur diepgaand in kaart brengen emic benadering

emic: een beschrijving in termen van de mensen zelf etic: in termen van het externe, de omgeving

Deze methodologie veel gebruikt in de antropologie

Malinowski op Trobriand Eilanden- boek geschreven, systematische uitwerking van de etnografische methode geworden

grondslagen gelegd

Onderzoeksonderwerpen: gebeurtenissen sociale rollen sociale relaties groepen en klieken organisaties subculturen

sluit aan bij constructivistische traditie

Typologie van veldonderzoek

Variëteit binnen veldonderzoek aanpakken rol van de onderzoeker: observeren vs participeren zichtbaarheid: open vs verborgen globale strategie: coöperatief vs investigatief

Rol van onderzoekerContinuüm

Zuiver observeren- onderzoeker is onopgemerkt aanwezig- geen deelname - niet-reactief onderzoek- aanwezigheid kan ook actief zijn zonder dat eenheden zich er van bewust zijn

Voorbeeld: ‘bumper stickers and cops’- onderzoek opzetten met de studenten om te kijken over er wel degelijk spraken is

van de politie die bepaalde groepen viseert- onderzoekers zijn onopgemerkt, observeren enkel

Voorbeeld: ‘not-my-property syndroom’

Waarnemer als participant - waarnemen is nog altijd voornaamste focus, maar daarvoor ook deelnemen

MAAR zo weinig mogelijk enkel deelnemen om er aanwezig te kunnen zijn

- bv: geïnteresseerd in jeugdcultuur ‘hoe verloopt een les in een klas?’ in de klas zitten, maar geen deelname

Participant als waarnemer- vooral gebruiken bij vraagstelling naar het perspectief van de respondenten zelf- klemtoon op deelnemen

Volledig participeren- onderzoeker wordt lid van de groep

!!! Absolute extremen van het continuüm zijn niet echt werkbaar

Mate van zichtbaarheid

- Volledig verborgen: onderzoekseenheden weten niet dat een onderzoeker aanwezig is

- Gedeeltelijk verborgen: onderzoekseenheden weten dat er een onderzoeker is, maar weten niet precies wat onderzocht wordt de doelstellingen van onderzoek zijn verborgen soms nodig omdat mensen anders hun G te hard zullen aanpassen

- Volledig open: onderzoekers en hun doelstellingen zijn uitdrukkelijk gekend is op ethisch vlak het beste

Paradigma die de onderzoeker gebruikt achterliggend beeld dat je hebt over de SL

2 paradigma’s1. Coöperatief paradigma

- nadruk op samenwerking en homogeniteit zeer rooskleurig invloed op de methode waarmee je onderzoek zal doen

- onderzoeker rekent op medewerking van respondenten en bouwt vertrouwensrelaties uit

2. Investigatief paradigma- SL is gedifferentieerd en conflictueel- gevolgen methode: eigen cultuur begrijpen volstaat niet, veld als vreemde

wereld- valstrikken

achterhouden informatie verkeerde info/ leugens of remedies

- onderzoek in teamverband als oplossing zorgen dat je vanuit verschillende posities mensen kan bevragen, zorgen dat er altijd iemand in het veld aanwezig is

OefeningWhen prophecy fails…

- rol onderzoeker: zuiver participeren- zichtbaarheid: volledig verborgen- paradigma: investigatief

Body & Soul- rol onderzoeker: participant als waarnemer- zichtbaarheid: open/gedeeltelijk verborgen waarneming

hij valt op (enige blanke), maar toch gedeeltelijk aangezien hij zijn doelstellingen niet perse vrijgeeft

- paradigma: eerder coöperatief paradigma echt een vriendschap uitbouwen

Het verloop van veldonderzoek (1) Voorbereiding en planning

- onderzoeksontwerp & onderzoeksvragen opstellen - steekproeftrekking: selectie van…- reflecteren van onderzoeksrollen- flexibel, creatief en interactief

(2) Intrede in het veld- fysiek aanwezig zijn- maar ook: ervoor zorgen dat anderen bereid zijn je aanwezigheid te tolereren

en je informatie te verschaffen - toegang hangt af van enkele punten

(3) Verblijf in het veld- veldonderzoek heeft ook andere rollen - role-taking (bestaande rollen vervullen) en role-making (ontwikkelen van

nieuwe rollen)- vereist een aantal vaardigheden

(4) Uittrede uit het veld: op een cultureel aangepaste wijze het veld verlatenVeldwerknotities

Observatiemateriaal- data-verzameling en –analyse lopen door elkaar- veldwerknotities

tijdens beknopt, later zorgvuldig uitschrijven in het veld noteren of niet? hangt af van type onderzoek & rol onderzoeker

Wat noteren?ZIE PPT

Les 17 (4/12)

H12: Diepte-interview

BasisideeDiepte-interview & focus-groep

- basisidee- epistemologische grondbeginselen- praktisch

interviews focusgroep

- conversatie tussen onderzoeker en geïnterviewde - survey interview- voor- en nadelen diepte-interview:

› diepte interview is minder artificiële situatie daardoor grotere externe geldigheid

› grotere inbreng respondent› mogelijkheid om door te vragen› maar: minder gestandaardiseerd (en dus minder betrouwbaar)

- diepte-interview: niet verwarren met een gezellige babbel, dagdagelijkse conversatie het is een onderzoek, er zal dus een specifieke methodologie toegepast worden niet over eender wat praten

- diepte-interviews: geschikt voor diepere betekenissen achterhalen nieuwe onderzoeksterreinen exploreren

bij een survey is het moeilijk om te weten welke vragen je zal stellen over een onderwerp waar je niet veel van weet

VoorbeeldTalk to love, How culture matters

- kijken naar hoe mensen over liefde spreken voor een stuk cultureel bepaald cultuur is niet iets statisch, maar iets dynamisch: spreken over liefde verschilt, verandert mee met de tijd

- bij gebruiken van survey: het antwoord in de mond van de respondent geven - gekozen voor specifieke doelgroep: mannen en vrouwen uit middenklasse gezinnen - doel is niet om representatief beeld voor de volledige bevolking te schetsen, maar

om te weten komen hoe mensen over liefde praten (diepgaandere kennis)

Epistemologische grondbeginselen

1. Ingebed in een constructivistische wereldbeeld - sociale realiteiten zijn niet objectieve gegeven, maar sociaal geconstrueerd - de wereld kennen door te begrijpen eerder dan verklaren

Nadruk op interpretatie- waarneming is nooit objectief, staat niet los van de waarnemer

Vrouwelijke body-builders als buitenstaanders: ‘mannelijke lichamen’ eigen interpretaties als we de sociale realiteit goed willen begrijpen: interpretaties van deze vrouwen zelf ook in rekening nemen survey is dus geen goed idee, je kan niet genoeg in de diepte graven

Racisme en discriminatie op school- via administratieve data- grote kloof in de prestatie naargelang sociale klasse en etnische klasse

zij met migratieafkomst presteren lager dan autochtonen

2. De nadruk ligt op theorievorming en -ontwikkeling- sterk inductief karakter eerder dan hypthese-toetsend- nieuwe theorieën naar voren willen schuiven

Schuilen in de schaduw - doctoraat dat ging over de situatie over mensen zonder papieren hier in B- interview en daarna gecodeerd: in verschillende stappen

stap 1: open coderen stap 2: axiaal coderen stap 3: selectief coderen

Diepte-interviews

Opbouw- volgt een script, waarin er een rolverdeling is - continuüm van meer open naar meer gestructureerd

3 vormen: gestructureerde interview (survey) semi-gestructureerd interview ongestructureerd interview

- soorten vragen: onderscheiden o.b.v. inhoudelijke en dynamische dimensie

openingsvragen, inleidingsvragen, transitievragen, sleutelvragen en besluitende vragen

! Tabel niet fout interpreteren: vragen naar ervaring/G ≠ openingsvragen! Je hebt 2 kolommen, inhoudelijke en dynamische, maar hebben niks met elkaar te maken

valstrikken leidende of sturende vragen (niet aangeven naar welke kant je wilt gaan bij je vraagstelling) waarom-vragen: leidt tot speculatie eigen motieven

Focus groepen

ZIE PPT

Les 18 (7/12)

H13: Historisch-comparatief onderzoek

Focust meer op logica, dan op specifieke onderzoeksmethoden

Historisch-vergelijkend onderzoek

Basis: je kan niks te weten komen zonder vergelijkingen te maken- alle wetenschappelijke gegevens komen uit vergelijkingen- bv: survey man vergelijken met vrouw bijvoorbeeld- bv: experimenteel onderzoek proefpersonen vergelijken met controlegroep

Historisch-vergelijkend onderzoek- focust op de ‘grote vragen’ – macro perspectief - evoluties historisch beschrijven- gevalsstudies (case studies)- zowel gebruik van kwantitatieve als kwalitatieve data

Voorbeeld: Three worls of welfare capitalism Esping-Andersen

- overheid grijpt in op het economisch systeem om de bevolking bescherming te bieden tegen sociale risico’s welvaartstaat

- hoe verschillen Europese welvaarststaten van elkaar? stratificatie: mate waarin ongelijkheid aanwezig blijf in SL decommodificatie: mate waarin een staat je de mogelijkheid biedt om onafhankelijk te zijn van de markt wie is de voornaamste actor: wie zorgt ervoor dat de welvaart verdeeld wordt? staat/markt/familie de-familialisering: mate waarin het individu onafhankelijk is van de familie voor zijn welzijn

Conclusie: 3 soorten welvaartstaten typologie 3 types

Geke

nmer

kt

door

Waarom is dit een historisch-vergelijkend onderzoek?- het gaat over de macro vraag- kijken hoe het uit historisch perspectief is ontstaan - welvaart in verschillende landen vergelijken

OorsprongJohn Stuart Mill

- probeerde een methode te ontwikkelen om bepaalde conclusies te trekken over ‘grote vragen’

- interesse naar causaliteit - niet experimenteel onderzoek zoals wij het nu kennen

4 principes of redeneringen methode van overeenkomst methode van verschil gecombineerde methode van overeenkomst en verschil methode van gelijktijdige variatie

Methode van overeenkomstUitleg:We zijn opzoek naar een verschijnsel (fenomeen) proberen te achterhalen wat de oorzaak is hoe? als dat verschijnsel 2 of meerdere keren voorkomt en het heeft telkens een gemeenschappelijke omstandigheid => zal dat waarschijnlijk de oorzaak of het gevolg zijn

Verschijnsel: YVariabele A tot X: mogelijke potentiële verklaringen kolommen zijn gevallen of cases => vergelijken wat zien we? bij zowel geval 1 als 2 komt verschijnsel Y voor maar toch anders want variabele a ≠ a’ enkel ‘x’ blijft hetzelfde=> methode: als je ‘y’ wilt verklaren dan moet je opzoek naar de variabele die in alle situaties hetzelfde blijft (in dit geval x)

Hoe toepassen in praktijk? opzoek naar cases met telkens je fenomeen, en dan op zoek gaan naar gelijke variabele

Voorbeeld: politiek conservatisme bij West-Franse boeren eind 19e E- hoe komt het dat er conservatisme is in de onderzochte kantons?

feodalisme en katholicisme

Zwaktes van methode van overeenkomst- overeenkomst impliceert geen oorzakelijkheid- overdeterminatie- vertekening door eenhedenselectie

Vervolg onderzoek voorbeeld (Bois): nieuwe observaties, haalt bestaand onderzoek onderuit conservatisme kon ook optreden zonder feodalisme noodzakelijke voorwaarden (de voorwaarde moet optreden want anders komt het gevolg niet, maar niet perse voldoende) vs. voldoende voorwaarde (als er iets gebeurd, zal het automatisch ook het gevolg optreden)

=> iets echt beschouwen als een oorzaak wanneer: X veroorzaakt Y wanneer X zowel een noodzakelijke als een voldoende voorwaarde is

Methode van verschilUitleg:Je moet opzoeken naar een instantie die wel voor komt en een instantie waar het verschijnsel niet voorkomst verschil tussen beide is de oorzaak van het verschijnsel

Conclusie schema: X heeft iets te maken met Y, want als X niet optreedt dan Y ook niet

Toepassing BoisSchema dia 13

Ook hier zwaktes van de methode- beter: gecombineerde methode?

Gecombineerde methodeUitleg:Pakt de redenering van het ene (zoek overeenkomsten bij beide situaties waar het fenomeen voorkomt) en van het andere (zoek verschillen bij situaties waar bij ene fenomeen wel is en bij andere niet)

Voorbeeld: States and social revolutions- opzoek naar revoluties die geslaagd zijn en die mislukt zijn

informatie zoeken in al deze revoluties- oorzaak voor het slagen van een revolutie?

=> als iets systematisch aanwezig is bij de geslaagde revoluties en systematisch afwezig bij de mislukte, dan zal dat waarschijnlijk de oorzaak zijn

Cruciale factor: afbrokkelen militaire en administratieve macht

Kritiek: het gaat altijd over aanwezig-afwezig, zwart-wit in realiteit vaak een continuüm, een grijs vlak

Methode van gelijktijdige variatieUitleg:Bestaat er samenhang tussen twee kenmerken, dan zal er een oorzakelijke verband zijn

( MAAR het is niet omdat dingen samenhangen, dat ze daarom elkaar veroorzaken != wat wij ondertussen weten) Mill spreekt dus stukken in HB over causaliteit tegen

Voorbeeld: The civic culture- in verschillende cases onderzoek gedaan cases met variatie, verschillen van elkaar - in elk van de landen burgers geïnterviewd - wat merkt men op? er is een samenhang tussen aanwezigheid democratie en geheel

van waarde en opvattingen democratie en ‘civic culture’

Specifieke kenmerken

Kenmerken historisch-vergelijkend onderzoek Aard van het empirisch materiaal

- beperkt small-N studies (n= onderzochte cases) historische beschikbaarheid van gegevens

Omgang met historisch bronnenmateriaal- referentiekaders van onderzoeker beïnvloeden interpretatie historische data- bronnenmateriaal dat overgebleven is, is erg selectief

Streven naar oorzakelijke verbanden- vaak gebruik gemaakt van combinatorische logica om oorzaken te

identificeren - gecontextualiseerde visie op causaliteit - bv: Booleaanse algebra

Verbinden micro- en macroniveau levens individuen proberen te begrijpen a.d.h.v. wat er op maatschappelijke niveau gebeurd

- voorbeeld: Norbert Elias

Problemen

Equivalentie van de metingen- er worden vergelijkingen gemaakt over totaal verschillende cases

bij het maken van die cases wel rekening houden of je ze wel kan vergelijken (en niet appelen met bananen aan het vergelijken) sprake van equivalent wanneer je een vergelijkbare vergelijking maakt

Vormen equivalentie- conceptuele equivalentie - equivalentie van het meetinstrument

methode bias item bias