Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)

|Datum 11.10.2010

faculteit gedrags- enmaatschappijwetenschappen

pedagogische wetenschappen en onderwijskunde

1

Ortho-Pedagogisch onderzoek

Wendy Post en Ernst Thoutenhoofd11 oktober 2010

PAMA5163 | MastertheseCollege 1

Inleiding in methoden van wetenschappelijk werken en denken over verschillende typen onderzoek

|Datum 11.10.2010



De ondersteunende colleges

1 Voorbereiding Typen onderzoek onderscheiden en kiezen.

2 Inleiding Literatuur doorzoeken, aanleiding verwoorden, probleemdefinitie en doelstelling formuleren.

3 Methode Data verzamelen en beschrijven.4 Analyse Data begrijpen en in context

plaatsen.5 Rapportage Helder beschrijven van

wetenschappelijk onderzoek.

2

|Datum 11.10.2010



De ondersteunende colleges

Voor elke stap in onderzoek is een ondersteunend college gepland.

Eén week voor elk college: inleveren van opdracht.Elke opdracht bestaat uit het maken van een korte powerpoint presentatie.

Doel: ondersteunen van these en monitoren van problemen.

|Datum 11.10.2010



Schema van opdrachten

Opdrachten Inhoud Inleveren1 Onderzoeksvoorstel vraagstelling en

methodologie18-11-2010

2 Data verzameling databeschrijving en codering

10-01-2011

3 Data analyse Bevindingen/resultaten 21-02-2011

4 Rapportage + discussie en conclusie 31-03-2011

4

|Datum 11.10.2010



Twee opmerkingen

1. Voor elke opdracht geldt ook het benoemen van problemen (inclusief vertragingen) en hoe zij worden ondervangen.

2. Opdrachten staan in meer detail in de Masterhandleiding en op NESTOR.

|Datum 11.10.2010



6

1. Keuze onderwerp/thema2. Lezen en aanduiden van relevante literatuur3. Probleem- en doelstelling formuleren4. Een vraagstelling duidelijk formuleren5. Uitwerking methode

Het doel en de vraagstelling zijn medebepalend voor de keuze van het type onderzoek dat je doet.

Opdracht 1 Onderzoeksvoorstel

|Datum 11.10.2010



In theorie worden vele soorten onderzoek onderscheiden:

fundamenteel of toegepast;grootschalig of kleinschalig (pilot);observationeel of interveniërend;theorievormend (exploratief) of theorie-toetsend;kritisch-beschrijvend of analytisch.

7

College 1 Typen onderzoek

|Datum 11.10.2010



Typen onderzoek

In de praktijk komen allerlei mogelijke combinaties van wetenschappelijk onderzoek voor, en worden methodes ook wel ‘getrianguleerd’:

Bijvoorbeeld statistische analyse tezamen met open interviews en observatie.

|Datum 11.10.2010



Typen onderzoek

In dit college wordt onderscheid gemaakt in kwantitatief en kwalitatief onderzoek.

Waarom? Orthopedagogisch onderzoek is zeer gevarieerd en vergt dus beide vormen.

systematische review: Kan zowel kwantitatief als kwalitatief zijn.Dit is anders dan een samenvatting van de literatuur!

9

|Datum 11.10.2010



Welk onderzoek is ‘wetenschappelijk’?

10

Twee kernbegrippen in zowel kwalitatief als kwantitatief onderzoek: betrouwbaarheid en validiteit.

1.Betrouwbaarheid 1. Reproduceerbaarheid2. Nauwkeurigheid

|Datum 11.10.2010



Welk onderzoek is ‘wetenschappelijk’?

11

1. Validiteit 1. Interne validiteit

in hoeverre leiden het design en analyse tot juiste conclusies?; in hoeverre meet je echt wat je wilt meten?

2. Externe validiteit in hoeverre zijn de resultaten generaliseerbaar?

|Datum 11.10.2010



Betrouwbaarvalide

Onbetrouwbaarvalide

BetrouwbaarNiet valide

|Datum 11.10.2010



13

Definitie:

Het samenvatten van gegevens in getallen met behulp van statistische technieken waarbij deonzekerheid gekwantificeerd wordt door gebruikte maken van statistische modellen.

Kwantitatief onderzoek

|Datum 11.10.2010



Kwantitatief onderzoek14

Betrouwbaarheid 1. (1-α): kans op het niet verwerpen van H0 terwijl H0

waar is. 2. 95% betrouwbaarheidsintervallen: hoe precies

wordt een grootheid geschat?3. Cronbachs : betrouwbaarheid van een

instrument

Validiteit: juist design; bepalen welke elementen de validiteitkunnen schaden en zo nodig kwantificeren!

|Datum 11.10.2010



Kenmerken kwantitatief onderzoek 15

1. Er is een hypothese en referentiekader, gebaseerd op eerder onderzoek (wat ook kwalitatief kan zijn geweest)

2. Doel van onderzoek is:1. hypothese toetsen op basis van observaties (empirisch onderzoek);2. het schatten van effect groottes en associaties met voldoende betrouwbaarheid.3. beschrijving van de kenmerken van een populatie

|Datum 11.10.2010



Kenmerken kwantitatief onderzoek

3. Vraagstellingen betreffen in het algemeen niet1. betekenisverlening en verwoording van personen aangaande gedrag, motieven en emoties;2. emotioneel geladen onderwerpen.

4. Er is sprake van een steekproef uit een goed gedefinieerde populatie en deze steekproef is voldoende groot om betrouwbare uitspraken

te doen.

|Datum 11.10.2010




5. Design aspecten zijn gebaseerd op een statistisch model, met verschillende statistische assumpties en condities, en ligt bij voorbaat vast.

6. Dataverzameling wordt gestructureerd uitgevoerd, waarbij van te voren vast staat welke data worden verzameld en in welke volgorde.

|Datum 11.10.2010




7. Soorten dataverzameling: 1. gestructureerd interview met bekende en vaste vragen en coderingen2. vragenlijsten met bekende en vaste categorieën en coderingen3. kenmerken met bekende en vaste categorieën

4. continue variabelen die uitgedrukt worden in getallen (leeftijd, scores op testen etc.)

|Datum 11.10.2010




8. Beschrijvende statistiek: Continue variabelen1. centrummaten (gemiddelde, mediaan, modaal)2. spreidingsmaten (standaarddeviainterkwartielafstand)3. verdelingsmaten (boxplot,outliers)

Beschrijvende statistiek: Categoriale variabelen 1. frequenties 2. percentages 3. kruistabellen

|Datum 11.10.2010




9. Toetsende statistiek 1. chi-kwadraat 2. t-testen 10. Statistische modellering:

1. Regressiemodellen2. ANCOVA

11. rapportage is weerslag van bevindingen: dus op cijfers gericht.

|Datum 11.10.2010



Consequenties voor voorstel 21

Inleiding ProbleemdefinitieLiteratuuroverzichtDoel en vraagstelling

Methode Steekproef en populatieDesignwijze dataverzamelinguitkomstvariabelenbepaling steekproefgroottestatistisch analyseplan

|Datum 11.10.2010



Voorbeeld kwantitief onderzoek

22

Probleem Er is een nieuwe rekenmethode op de markt gekomen.

Vraag Leidt deze nieuwe rekenmethode tot betere resultaten dan de oude methode?

Situatie Er is een rekentoets die de rekenvaardigheid van kinderen op een valide manier meet.

|Datum 11.10.2010



Rekenvaardigheid (vervolg) 23

Assumpties1. De rekenvaardigheid heeft een bepaalde verdeling

(vaak normale verdeling).2. We toetsen de nulhypothese dat de gemiddelde

rekenvaardigheid bij beide rekenmethoden gelijk is tegen het alternatief dat de gemiddelde rekenvaardigheid verschillend is.

|Datum 11.10.2010



Rekenvaardigheid (vervolg)24

Design • Gerandomiseerd onderzoek• Kinderen worden op een voorafgestelde tijd en

wijze getest op het rekenen

Statistische analyseVergelijken van 2 onafhankelijke groepen: t-test.

|Datum 11.10.2010



Waarom kwantitatief onderzoeken?25

1. We weten wat we onder rekenvaardigheid verstaan.

2. We weten uit vorig onderzoek hoe de rekenvaardigheid is verdeeld.

3. We weten hoe we rekenvaardigheid kunnen meten (via een valide test: dus test is reeds ontwikkeld).

4. We hebben rekenmethodes die al eerder uitgeprobeerd zijn.

Wat als dat niet zo is?

|Datum 11.10.2010



26

Kwalitatief onderzoek onderscheidt zich doordat het verschijnselen verklaart op basis van hun alledaagse betekenis. Het wordt pas sinds de jaren ‘70 toegepast in onderwijskunde.

Kwalitatief onderzoekt het hoe en waarom, in plaats van wat, waar, hoe vaak. Onderzoek is daarom vaak kritisch van aard.

Rapportage van kwalitatief onderzoek heeft daarom doorgaans een meer verhalende of ethnografische vorm.

Kwalitatief onderzoek

|Datum 11.10.2010



Vormen van kwalitatief onderzoek

Kwalitatief onderzoek kent heel veel varianten, bijv: interventie (action research);ethnomethodologie (interpreteren van anderen);narratologie (verhalen vertellen);schaduwen (een sleutelfiguur volgen);focus groepen (discussie binnen populaties);discourse analysis (analyseren van gesprekken);onderwijspsychologie (leren in de praktijk).

Vaak wordt actieve deelname verondersteld.

|Datum 11.10.2010



Vormen van kwalitatief onderzoek

Onderwijspychologie behelst de studie van hoe mensen leren in de onderwijskundige omgeving. Het concentreert zich vaak op het leren van sub-groepen, zoals hoogbegaafden of kinderen met een handicap.

Onderwijssociologie behelst de studie van waarom mensen leren in de onderwijskundige omgeving—etc.

Er zijn raakvlakken met bestuurskunde, beleid, organisatie van de klas, professionalisering, etc.

28

|Datum 11.10.2010



Kwalitatief onderzoek29

Betrouwbaarheid Kernbegrippen zijn gekoppeld aan theorie;Coderen is een vooral reflexieve bezigheid;Elk standpunt staat (Socratisch) ter discussie;Rapporteren in de ‘ik-vorm’ is verantwoord;—niet makkelijk om onderzoek te reproduceren.Validiteitis hoog; bevindingen staan dicht bij werkelijkheid;bevindingen zijn vaak geloofwaardig (‘wist ik al!’);de context staat vaak centraal;uitkomsten zijn vaak niet te algemeniseren.

|Datum 11.10.2010



Kenmerken kwalitatief onderzoek 30

Het referentiekader van kwalitatief onderzoek betreft meestal een aandachtspunt of inzicht, waar een theorie en/of interventie aan gekoppeld kunnen worden. Dit proces is vaak cyclisch.

Technieken die gebruikt worden zijn o.a.observatieaantekeningen (veldwerk, dagboek, etc.)interviews—dit vergt oefening!analyse van documenten en materialen

|Datum 11.10.2010



Kenmerken kwalitatief onderzoek 31

Een methodologisch kader verbindt methode met een veronderstelde werkelijkheid.Dat kader kent wederom heel veel vormen, bijv.

kader werkelijkheidgrounded theory achterliggende structuur ethnografie parallelle werkelijkhedenaction research toegepaste wetenschapactor-network theory interactie mensen/dingen

|Datum 11.10.2010



Consequenties kwalitatief voorstel

Inleiding Duiding van kernconcepten middels literatuur—deze wordt vaak uitgebreid behandeld als theorie en methodologisch kader.

Methode Ontwerp, instrumenten, data verzameling.

Resultaten Beschrijving en/of codering van gegevens.

Rapportage Inclusief een discussie van bevindingen, heldere terugkoppeling naar de literatuur, en eindconclusie.

|Datum 11.10.2010



Waarom kwalitatief onderzoeken?33

1. Een reductieve categorisatie van dagelijkse werkelijkheid is niet op zijn plaats.

2. De aantallen in de steekproef zijn te klein voor statistiek, of de populatie is niet eenduidig.

3. Er is onvoldoende overeenstemming voor het duiden van factoren/variabelen.

4. Er is vooral aandacht nodig voor wat anderen vinden, denken, voelen, weten.

5. Er spelen vooral hoe en waarom? vragen.6. De context en/of achterliggende betekenissen

vormen de kern van de studie.

|Datum 11.10.2010



34

Waarom kwalitatief onderzoeken?

De uitdaging van eenduidigheid is eenvoudig demonstreerbaar.

Hoeveel mensen zijn er in de zaal? (=M)

Hoeveel mensen hebben rood haar; hoeveel bruin haar; hoeveel blond haar; hoeveel zwart haar; hoeveel geen haar? (=H) Als M≠H, haarkleur (of mens) is geen eenduidige categorie binnen deze steekproef.

|Datum 11.10.2010



Voorbeeld kwalitatief onderzoek

35

Probleem Dove studenten zijn ontevreden over studeren; het

participatie-niveau is laag en er is hoge uitval.

Vraag Hoe kunnen participatie en studie-succes van dove

studenten worden verbeterd?

Situatie Studieadviseurs bieden ondersteuning, maar die is

vooral ontworpen voor studenten met bijv. dyslexie.

|Datum 11.10.2010



Voorbeeld kwalitatief onderzoek

36

VeronderstellingOndersteunen van studenten met beperkingen is

vooral algemeen van aard, en te weinig specifiek.

OntwerpPilot survey om problemen te systematiseren;Landelijke bijeenkomsten met dove studenten;Studenten als participant-observers of ethnografen

van hun eigen situatie;Ervaringen en kennis uitwisselen met universiteiten;Opzetten van een landelijk expertise-netwerk.

|Datum 11.10.2010



37

Waarom kwalitatief onderzoek?

Het relatief voorkomen van doofheid staat niet vast;Niet bekend hoe groot/klein de doelpopulatie is;De populatie is moeilijk bereikbaar;Doofheid is geen eenduidige categorie;Ondersteuning en behoefte varieren interactief;Meningen zijn sterk verdeeld;Hoeveelheid (onbekende) factoren spelen een rol;Probleem is niet stabiel, varieert in plaats en in tijd;Omgeving reageert sterk op onderzoek (reflexiviteit);[…]

|Datum 11.10.2010



kwalitatief onderzoek kwantitatief onderzoek

contextuele en associatieve werkelijkheid.

wetmatig categoriële werkelijkheid.

talige overeenstemming numerieke overeenstemming

verschijnselen zijn constructen.

verschijnselen zijn natuurlijk.

38

Kwalitatief vergelijkend perspectief

|Datum 11.10.2010



Kwalitatief vergelijkend perspectief


gemotiveerde objectiviteit.

mechanische objectiviteit.

persoonlijke afwegingen. onafhankelijke afwegingen.

probabilistische of onderbouwde generaliseerbaarheid.

representatieve generaliseerbaarheid.

39

|Datum 11.10.2010




Er is geen referentiekader, geen achterliggend model.

Er is een referentiekader (een waarheid); achterliggend model.

Hypothesevormend. Hypothese toetsend.

Data bestaan uit teksten. Data bestaan uit getallen.

40

Kwantitatief vergelijkend perspectief

|Datum 11.10.2010



Kwantitatief vergelijkend perspectief


Ongestructureerde onderzoeksopzet en dataverzameling waarbij volgorde niet vast ligt

Vooraf gestructureerde onderzoeksopzet en dataverzameling, waarbij volgorde vastligt

Steekproef geeft alle informatie

Generalisatie van steekproef naar populatie

41

|Datum 11.10.2010



42

Kwantitatief onderzoek • betrouwbaarheid wordt gekwantificeerd.• validiteit groter probleem. (zie ook straks het voorbeeld)

Kwalitatief onderzoek• validiteit is minder een probleem, want dicht bij

het leven. • betrouwbaarheid groter probleem, met name de

reproduceerbaarheid.

Betrouwbaarheid & validiteit

|Datum 11.10.2010



• Trudy Dehue (2002) A Dutch treat: Randomized controlled experimentation and the case of heroin-maintenance in the Netherlands

43

Voorbeeld probleem voor statistiek

|Datum 11.10.2010



Heroïne trial

Aanleiding 1995: 24.000 verslaafden; 12.500 draaiden mee in methadon programma, waarvan 8000 verslaafden geen baat hadden.

Voorstel van toenmalig minister (minister Borst):Doe een gerandomiseerde studie, waarbij in de experimentele groep de heroine verschaft wordt (samen met methadon), en in de controlegroep alleen methadon gegeven wordt.

44

|Datum 11.10.2010



Heroïne trial

Doel van de studieBepalen of het verstrekken van heroïne een positief effect heeft op medische en psycho-sociale condities van de verslaafden.

|Datum 11.10.2010



Heroïne trial

Pas in 1999 gestart.

Allerlei problemen:1. Kosten aspect2. De controlegroep: wat beloof je die?3. Benodigde aantallen4. Uit pilot studie: de impact van heroine was minder

groot, en de heroine was van inferieure kwaliteit

Uiteindelijk uitgevoerd volgens de normen van good clinical practice

46

|Datum 11.10.2010



Heroïne trial

• Aangepaste aantallen : 625 verslaafden (probleem met power!)• Inclusiecriteria:

• minstens 5 jaar verslaafd;• Reeds geparticipeerd in methadon-

programma met vaste hoeveelheid; • therapietrouw, maar geen effect;

(probleem hier is de sterk geselecteerde groep)

Is dit echt de groep waarover je wilt generaliseren?

47

|Datum 11.10.2010



Heroïne trial

Uitkomstvariabelen Medische en psychosociale problematiek.

Wat zijn normale waarden? Past dit voor onze groep verslaafden?

Probleem Meten de variabelen wel werkelijk datgene dat je wilt meten?

48

|Datum 11.10.2010



Heroïne trial

Het verstrekken van heroïne werd gezien als therapie. Dat betekent:

• Sterk geprotocolleerde verstrekking• Klinische setting• Medische checks

49

|Datum 11.10.2010



Heroïne trial

Het onderliggende probleem volgens Dehue• Heroïnegebruik wordt in de praktijk gezien als een

manier van leven, niet als een therapie.• proefpersonen reageren niet zoals ze in een reële

situatie zouden hebben gedaan

De hele setting komt niet overeen met de realiteitDus: resultaten zijn niet valide.

|Datum 11.10.2010



Heroïne trial

Kort samengevat:

Het referentiekader van proefpersonen (met normen, waarden en waarheden) komt niet overeen met het referentiekader waar het wetenschappelijk onderzoek vanuit gaat.

Geen validiteit, wel betrouwbaarheid.

Wat is dan de oplossing? Kwalitatief onderzoek?

51

|Datum 11.10.2010



Kwalitatief onderzoek als alternatief

Kwalitatief onderzoek stelt vragen bij het leven zoals dat voor een populatie zelf betekenis heeft; voor gebruikers is verslaving een manier van leven.

Een goede mogelijkheid hier is action research:Via observatietechnieken achterhalen hoe de gemeenschap werkt en welke waarden gelden;Open gesprekken over de voor/nadelen van gebruiken op de kwaliteit van leven;Via praktijk-interventies (en in samenwerking) bruikbare alternatieven inbrengen en doelen stellen.

|Datum 11.10.2010



De ‘Sokal (1996) affaire’

Voorbeeld probleem met kwalitatief onderzoek: betrouwbaarheid

|Datum 11.10.2010



De Sokal affaire

Onder nominalisme wordt verstaan dat de wereld uitsluitend kenbaar is via taal: de wereld is altijd alleen maar ‘kenbaar’ via representatie.

Alan Sokal (physicus) publiceert met opzet een onzin-artikel in een sociologisch journal, waarin hij stelt dat quantum zwaartekracht een construct is.

Het artikel wordt gepubliceerd in 1996. Sokal gaat publiek met de aanklacht dat blijkbaar in sociologie welke onzin dan ook als waarheid kan gelden.

|Datum 11.10.2010



De Sokal affaire

Volgens Sokal zelf was zijn tekst,

“a pastiche of Left-wing cant, fawning references, grandiose quotations, and outright nonsense . . . structured around the silliest quotations […] he could find about mathematics and physics.”

Zie Sokal_affair op wikipedia

Wat is hier het probleem?

|Datum 11.10.2010



De Sokal affaire

In principe zijn fenomenen doorgaans scheidbaar:Het empirisch kenbare deel kan worden getoetst aan veronderstellingen die we ervan hebben.Het nominaal kenbare deel kan worden getoetst in taalgebruik en onze (directe) omgang met het fenomeen.Het niet goed analytisch onderscheiden van deze dubbele werkelijkheid van feiten leidt tot problemen met betrouwbaarheid.(Hacking 1999)

|Datum 11.10.2010



1. Publicaties worden door middel van een zoekprocedure geselecteerd.

2. De steekproef bestaat uit de geselecteerde publicaties (niet de proefpersonen in die publicaties).

3. Op basis van analyse van de artikelen komt men tot een conclusie.

57

Systematische review

|Datum 11.10.2010



Systematische review

4. Kan zowel kwalitatief als kwantitatief karakter hebben.

5. Let op: het is geen samenvatting van de literatuur (dat noemen we literatuurverkenning en is een verplicht onderdeel in elke these).

|Datum 11.10.2010



1. Op basis van dit college bepaal je samen met jouw thesisbegeleider of je kwalitatief onderzoek gaat uitvoeren, of kwantitatief, of beide.

2. Op basis daarvan bepaal je welke ondersteunende colleges je gaat volgen:meneer Thoutenhoofd (kwalitatief) of die van mevrouw Post (kwantitatief); of beide.

3. Je stuurt de opdracht naar de docent waarvan je het college volgt.

59

Hoe nu verder?

|Datum 11.10.2010



60

Verdere bronnenAdams St. Pierre, Elizabeth en Kathryn Roulston (2006) The state of qualitative inquiry: A contested science.

International Journal of Qualitative Studies in Education 19(6):673–684.Christensen, Pia en Allison James (2008) Research with children: Perspectives and practices. Londen,

Engeland: Routledge. Dehue, Trudy (2002) A Dutch treat: Randomised controlled experimentation and the case of heroin-

maintenance in the Netherlands. History of the Human Sciences 15(2):75–98.Denzin, Norman K., Yvonna S. Lincoln en Michael D. Giardina (2006) Disciplining qualitative research.

International Journal of Qualitative Studies in Education 19(6):769–782.Eisenhart, Margaret (2006) Qualitative science in experimetal time. International Journal of Qualitative

Studies in Education 19(6):697–707.Ercikan, Kadriye en Wolff-Michael Roth (2009) Generalizing from educational research: Beyond qualitative

and quantitative polarization. New York, VS: Routledge.Hacking, Ian (1999) The social construction of what? Cambridge (Mass), US: Harvard University Press.Preissle, Judith (2006) Envisioning qualitative inquiry: A view across four decades. International Journal of

Qualitative Studies in Education 19(6):685–695.

Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)

Education

Transcript of Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)