Inhoud Kiezen van methoden: verschillende types
Steekproeftrekking Betrouwbaarheid en validiteit Verwerking van
data Praktijkrelevantie bewaken Aan de slag
Dia 3
Kiezen van methode Eerste stap in onderzoeksproces:
probleemstelling, onderzoekvraag (evt. hypothesen) obv literatuur,
rele problemen (zie sessie 2: De onderzoekende houding als
startpunt van praktijkgericht onderzoek) Tweede stap in
onderzoeksproces Kiezen van methode Verschillende opdelingen,
verschillende benamingen kwantitatief kwalitatief onderzoek
Algemeen onderzoekstypes Specifieke onderzoekstypes Keuze
afhankelijk van vraag, van soort data dat je wenst te verzamelen en
soms afhankelijk van praktische mogelijkheden
Dia 4
Kiezen van methoden (tabel uit Dieussaert, Smits, & Goubin,
2011) Doel van het onderzoek Wat?Kwantitatieve benadering
Kwalitatieve benadering WetenBeschrijven van een situatie,
definiren van een concept Hoe vaak komt iets voor? Wat zijn
eigenschappen van? Uit welke bestanddelen bestaat het fenomeen? Wat
denkt men over.? Welke verschillende opvattingen zijn er over?
Welke dimensie omvat fenomeen? Wat is belangrijk bij? Verkennen van
een verband Welke factoren zijn gerelateerd aan? Volgens welk
patroon of proces evolueert fenomeen x? Wat zijn de antecedenten
van? VergelijkenIn welke mate verschilt X van Y mbt kenmerk..?
Waarin verschillen de opvattingen van groep A tov groep B? Hoe
gedraagt groep A zich in vergelijking met groep B?
Dia 5
Doel van het onderzoek Wat?Kwantitatieve benadering
Kwalitatieve benadering WetenVerklarenWelke factoren veroorzaken X?
In welke mate leidt een toename van X tot een toename van Y? Hoe is
de situatie ontstaan? Hoe kan men fenomeen X verklaren? Wat houdt
het in stand? VeranderenExperimenteel ingrijpen, actieonderzoek
Leidt interventie X totHoe kan dynamiek X op gang gebracht worden?
EvaluerenMeten of evalueren van effecten In welke mate heeft
ingreep X effect op? Geeft ingreep A betere resultaten dan ingreep
B op.? In welke mate zijn mensen tevreden over.? Wat zijn de
gevolgen van het invoeren van? Hoe denken mensen over de nieuwe
evolutie in.? Wat roept X of Y op? OntwerpenOplossen voor een
nieuwe probleem, nieuwe toepassing Ontwikkelonderzoek maakt vaak
gebruik van een veelheid aan methodes en vooral van een gefundeerde
trial and error- benadering, om zo tot een goed product te komen in
systematische stappen
Dia 6
Kiezen van methode Algemene onderzoekstypes I. Beschrijvende
studies II. Associatief onderzoek III. Interventieonderzoek I.
Design based research II. Actieonderzoek
Dia 7
Kiezen van methode: weten I. Beschrijvende studies Beschrijving
van situatie (bv. beschrijving van voorkeuren van studenten,
beschrijving van klassen, gedrag van studenten, scores op testen,
soorten handboeken) door literatuuronderzoek of
vragenlijstonderzoek Geen inzicht in waarom; kan basis zijn voor
verder onderzoek Weten wat er is
Dia 8
Kiezen van Methode: Weten Literatuurstudie: Zoek naar
preliminary sources (Eric, PsycInfo, Web of Science, Google Scholar
Gebruik secundaire bronnen (reviews) Lees primaire bronnen
Synthetiseren van de literatuur Welke bronnen neem je mee op? Wat
soort onderzoek neem je mee op? Wat zijn je zoektermen
(descriptoren)? Welke beperkingen leg je op (bv. jaartallen)? Bv.
Start om onderzoeksvraag te beantwoorden naar optel en
aftrekstrategien in de eerste drie leerjaren in de lagere school.
~> zie sessie 2: de onderzoekende houding als startpunt voor
praktijkgericht onderzoek
Dia 9
Kiezen van methode: Weten Vragenlijstonderzoek: inzicht in
kenmerken van een groep (leerkrachten, directie, leerlingen)
Schriftelijke vragenlijst: Belangrijk: oDuidelijke, eenduidige
vragen stellen (open of gesloten vragen?) oEerlijke antwoorden
generen oRespons bij schriftelijke vragenlijst Voordeel: oGrote
groep in korte tijd bevragen oVaak eenduidige kwantitatieve
verwerking Bv. Percepties van studenten over digitale cursussen
meten
Dia 10
Kiezen van methode: Weten Vragenlijstonderzoek (vervolg)
Interview: Belangrijk: oDuidelijke, eenduidige vragen stellen oOpen
gesprek, eerlijke antwoorden genereren Voordeel: oStellen van open
vragen oHet kunnen doorvragen Bv. Zicht krijgen op gehanteerde
strategien door leerlingen (retrospectief) bij rekenen Interview
met directie om zicht te krijgen op mate waarin ICT- gebruik
ondersteund wordt door de directie
Dia 11
Kiezen van methode: Weten Etnografisch onderzoek: een volledig
beeld krijgen van processen (bv. Wat doen leerlingen tijdens een
les LO?) Observeren en interviewen op geregelde tijdstippen van
leden van de bestudeerde groep, zo volledig mogelijk beeld krijgen
Vaak over langere periode Belangrijk: Sterk afhankelijk van de
specifieke onderzoeker Niet altijd veralgemeenbaar Moeilijk
controleerbaar Kwalitatieve gevalsstudies Grondige studie van
afzonderlijke cases Identificeren van fenomenen Bijdragen tot
theorievorming
Dia 12
Kiezen van methode: Weten Nog andere beschrijvende methoden
Narratief onderzoek Biografie: focus op belangrijke gebeurtenissen
in iemands leven Fenomenologie: focus op specifiek fenomeen (bv.
Conflicten, critical incidents) Grounded theory: ontwikkelen van
theorie op basis van data Documentanalyse (bv. Handboekanalyse,
analyse van bachelorproeven)
Dia 13
Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het
gamegedrag van jongeren en hun opvattingen over het gebruik van
games in het onderwijs Aanbod van online vragenlijst aan 487
leerlingen secundair onderwijs en 298 studenten lerarenopleiding
Online vragenlijst bestaande uit open en gesloten vragen 1.
Gesloten vragen Ja/neen; meerkeuzevragen Speel je digitale games?
(ja/neen) Hoe vaak? (
Kiezen van methode: weten II. Verkennen van verbanden Relaties
tussen verschillende variabelen, gebeurtenissen => GEEN
oorzakelijke uitspraken! => GEEN basis om interventie te doen Is
er een relatie tussen leerkracht gedrag en score op een test van
leerlingen, of sociaal economische status, relatie tussen attitudes
en prestaties, geslacht en attitude
Dia 19
Kiezen van methode: weten Correlationeel onderzoek: onderzoeken
van relaties tussen verschillende variabelen (bv. Samenhang tussen
leesvaardigheid en oplossen van vraagstukken en begrijpen van
wiskundige begrippen) Geen manipulatie Afnemen van instrumenten om
de verschillende variabelen te meten (bv. Vragenlijst, testen) Geen
causale uitspraken, maar vaak wel basis Causaal-comparatief
onderzoek: zoeken naar de oorzaak of het gevolg van bestaande
verschillen tussen groepen Onderzoeken van effecten Onderzoeken van
oorzaken Onderzoeken van gevolgen
Dia 20
Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het
gamegedrag van jongeren en hun opvattingen over het gebruik van
games in het onderwijs Correlationeel onderzoek 1. Nagaan van
verband tussen enerzijds gamegedrag van Vlaamse jongeren en
anderzijds Opleiding (secundair onderwijs lerarenopleiding)
Geslacht (man vrouw) ICT-vaardigheden (zwak matig sterk) 2. Nagaan
van verband tussen enerzijds houding t.o.v. games in het onderwijs
en anderzijds gamegedrag
Dia 21
Kiezen van methode: Weten Voorbeeld 2 Onderzoek naar de houding
van directieleden (lager onderwijs) tegenover leerkrachten met
dyslexie in het onderwijs Correlationeel onderzoek: nagaan van
verbanden tussen enerzijds houding tegenover leerkrachten met
dyslexie in het onderwijs en anderzijds ervaringen met deze
leerkrachten
Dia 22
Kiezen van methode: veranderen / evalueren III.
Interventiestudie een bepaalde interventie, methode wordt verwacht
een invloed te hebben op specifieke variabelen => uitspraken
doen over effectiviteit van methoden => bevestigen (of juist
niet) van theoretische voorspellingen Effect van verschillende
onderwijsmethoden op leerresultaten Effect van werken vanuit
ervaringen bij kinderen op wetenschappelijk denken
Dia 23
Kiezen van methode: veranderen / evalueren experimenteel
onderzoek: uittesten van verschillende interventies en effect ervan
onderzoeken onafhankelijke (interventie) en afhankelijke variabelen
manipuleren van onafhankelijke variabele maakt de interventie een
verschil? Pre-test __________interventie_________Post-test Pre-test
____________________________Post-test Belangrijk Controleren andere
variabelen Selectie van deelnemers: at random =>
quasi-experimenteel design
Dia 24
Kiezen van methode: veranderen / evaluerenVoorbeeld Onderzoek
naar de effecten van de implementatie van de leerlijn
onderzoekvaardigheden in de lerarenopleiding op de opvattingen
m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht
onderzoek van studenten lerarenopleiding Pretest: schriftelijke
vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren
van praktijkgericht onderzoek in de eigen onderwijspraktijk
(gesloten vragen, open vragen) Interventie 1. Studenten
controlegroep: afstudeerders, geen expliciete instructie m.b.t. het
zelf opzetten en uitvoeren van praktijkgericht onderzoek
Dia 25
Kiezen van methode: veranderen / evaluerenVoorbeeld Interventie
1. Studenten controlegroep 2. Studenten experimentele groep:
gerichte en expliciete interventie (nieuwe leerlijn) m.b.t. het
zelf opzetten en uitvoeren van praktijkgericht onderzoek;
driejarige leerlijn Posttest: schriftelijke vragenlijst m.b.t.
opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht
onderzoek in de eigen onderwijspraktijk (gesloten vragen, open
vragen) Analyse van invloed interventie op opvattingen studenten
(vergelijking experimentele groep, controlegroep)
Dia 26
Kiezen van methode: ontwerpen IV. Design-based research
(~ontwikkelingsonderzoek) Vijf kenmerken: Pragmatic, Grounded,
Interactive, iterative and flexible, Integrative, and Contextual
Pragmatisch: vertrekkend vanuit probleem in realiteit door
interventie en uitbreiden van theorie Gegrond (grounded): zowel in
de realiteit als in de theorie Interactief, Iteratief en flexibel:
samenwerking tussen onderzoekers en leerkrachten, gedurende lange
tijd, continue verfijning van interventie Integratief: variatie aan
onderzoeksmethoden, zowel kwalitatief als kwantitatief In
context
Dia 27
Kiezen van methode Actieonderzoek teacher as researcher
Onderzoeken van eigen praktijk Systematisch en kritisch Oog op
verbetering van eigen lespraktijk ~> illustraties van
praktijkgericht onderzoek (SoE CLARA)
Dia 28
Kiezen van methode: besluit De ene methode niet beter dan de
andere Belangrijk die methode te kiezen die een antwoord geeft op
je onderzoeksvraag In praktijk vaak verschillende methoden en
verschillende instrument (triangulatie) Belang van critical friend
hoe nauwer je als onderzoeker betrokken bent bij het onderzoek
Dia 29
Steekproeftrekking Wie zijn mijn deelnemers, bij wie doe ik een
bevraging? Populatie groot?=> deelverzameling Representativiteit
=> generaliseren Afhankelijk van kenmerken waarin je
genteresseerd bent (bv. Onderwijstype, geslacht, SES,..) Zelden
volledige representativiteit Representatief voor bepaalde
variabelen, niet voor andere
Dia 30
Steekproeftrekking Soorten steekproef Zuivere toevalssteekproef
Volledige lijst van onderzoekselementen (bv. Lijst met alle
leerkrachten), trekken op basis van toeval Conceptueel eenvoudig,
maar weinig gebruikt oMoeilijk om exhaustieve lijst van
onderzoekselementen op te stellen oGeografische spreiding van de
onderzoekselementen oRepresentativiteit niet gegarandeerd (bij
kleinere steekproef) Gestratificeerde enkelvoudige aselecte
steekproef: Onderscheiden van deelpopulaties die verschillen op
relevante variabele (bv. Leerkrachten uit GO! Leerkrachten VGO,
leerkrachten OGO) Deelgroepen = strata Nemen van enkelvoudige
aselecte steekproef binnen de strata Proportionele verdeling gelijk
aan verdeling in de populatie, of bewust niet proportionele
verdeling
Dia 31
Steekproeftrekking Getrapte steekproef Eerst aantal primaire
eenheden selecteren (bv. scholen) Steekproef van secundaire
eenheden (bv. leerkrachten) uit geselecteerde primaire eenheden
Gemakkelijkheidssteekproef Eenvoudig Moeilijk generaliseerbaar, obv
theoretische argumenten
Dia 32
Validiteit en betrouwbaarheid Validiteit Inhoudsvaliditeit:
zijn de indicatoren en vragen een goede afspiegeling van de te
meten variabele (bv. Aanwezigheid op schoolvergadering goed
indicator van leerkrachtmotivatie?) Criteriumvaliditeit: hangen
scores van deelnemers op een instrument samen met de scores die
deelnemers behalen op een extern criterium (vooronderzoek voor
nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT
is dat inderdaad een indicator voor het effectief gebruik?)
Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde
toepassing op dezelfde, onveranderde elementen dezelfde waarde van
de variabele als meetresultaat oplevert.
Dia 33
Verwerking data Afhankelijk van methode Kwantitatief Zorg voor
datafile Verwerking kan excel, spss, sas,. Kwalitatief
Coderingschema opstellen Turven ~kwantitatief beschrijven Tip:
Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden.
Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011).
Basiscursus SPSS. Assen: Van Gorcum
Dia 34
Waarborgen van praktijkrelevantie Relatief eenvoudig bij
actie-onderzoek, design-based research Niet uit het oog verliezen
bij interventieonderzoek Zorg voor betrekken van praktijk bij elke
stap in het onderzoek Resultaten bekijken vanuit theoretische
relevantie, maar ook praktijkrelevantie (disseminatie naar
praktijk! ~sessie 6)
Dia 35
Aan de slag Vertrek in groepjes van 5 met een onderzoeksvraag
die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag.
Schrijf hiervoor de methode, instrumenten, deelnemers uit.