Transcript of Geraldine Clarebout & Joke Torbeyns 07-09-2012 Methoden en technieken van kwaliteitsvol...
- Dia 1
- Geraldine Clarebout & Joke Torbeyns 07-09-2012 Methoden en
technieken van kwaliteitsvol praktijkgericht onderzoek Contact:
geraldine.clarebout@kuleuven-kulak.be;
joke.torbeyns@ppw.kuleuven.begeraldine.clarebout@kuleuven-kulak.be
joke.torbeyns@ppw.kuleuven.be
- Dia 2
- Inhoud Kiezen van methoden: verschillende types
Steekproeftrekking Betrouwbaarheid en validiteit Verwerking van
data Praktijkrelevantie bewaken Aan de slag
- Dia 3
- Kiezen van methode Eerste stap in onderzoeksproces:
probleemstelling, onderzoekvraag (evt. hypothesen) obv literatuur,
rele problemen (zie sessie 2: De onderzoekende houding als
startpunt van praktijkgericht onderzoek) Tweede stap in
onderzoeksproces Kiezen van methode Verschillende opdelingen,
verschillende benamingen kwantitatief kwalitatief onderzoek
Algemeen onderzoekstypes Specifieke onderzoekstypes Keuze
afhankelijk van vraag, van soort data dat je wenst te verzamelen en
soms afhankelijk van praktische mogelijkheden
- Dia 4
- Kiezen van methoden (tabel uit Dieussaert, Smits, & Goubin,
2011) Doel van het onderzoek Wat?Kwantitatieve benadering
Kwalitatieve benadering WetenBeschrijven van een situatie,
definiren van een concept Hoe vaak komt iets voor? Wat zijn
eigenschappen van? Uit welke bestanddelen bestaat het fenomeen? Wat
denkt men over.? Welke verschillende opvattingen zijn er over?
Welke dimensie omvat fenomeen? Wat is belangrijk bij? Verkennen van
een verband Welke factoren zijn gerelateerd aan? Volgens welk
patroon of proces evolueert fenomeen x? Wat zijn de antecedenten
van? VergelijkenIn welke mate verschilt X van Y mbt kenmerk..?
Waarin verschillen de opvattingen van groep A tov groep B? Hoe
gedraagt groep A zich in vergelijking met groep B?
- Dia 5
- Doel van het onderzoek Wat?Kwantitatieve benadering
Kwalitatieve benadering WetenVerklarenWelke factoren veroorzaken X?
In welke mate leidt een toename van X tot een toename van Y? Hoe is
de situatie ontstaan? Hoe kan men fenomeen X verklaren? Wat houdt
het in stand? VeranderenExperimenteel ingrijpen, actieonderzoek
Leidt interventie X totHoe kan dynamiek X op gang gebracht worden?
EvaluerenMeten of evalueren van effecten In welke mate heeft
ingreep X effect op? Geeft ingreep A betere resultaten dan ingreep
B op.? In welke mate zijn mensen tevreden over.? Wat zijn de
gevolgen van het invoeren van? Hoe denken mensen over de nieuwe
evolutie in.? Wat roept X of Y op? OntwerpenOplossen voor een
nieuwe probleem, nieuwe toepassing Ontwikkelonderzoek maakt vaak
gebruik van een veelheid aan methodes en vooral van een gefundeerde
trial and error- benadering, om zo tot een goed product te komen in
systematische stappen
- Dia 6
- Kiezen van methode Algemene onderzoekstypes I. Beschrijvende
studies II. Associatief onderzoek III. Interventieonderzoek I.
Design based research II. Actieonderzoek
- Dia 7
- Kiezen van methode: weten I. Beschrijvende studies Beschrijving
van situatie (bv. beschrijving van voorkeuren van studenten,
beschrijving van klassen, gedrag van studenten, scores op testen,
soorten handboeken) door literatuuronderzoek of
vragenlijstonderzoek Geen inzicht in waarom; kan basis zijn voor
verder onderzoek Weten wat er is
- Dia 8
- Kiezen van Methode: Weten Literatuurstudie: Zoek naar
preliminary sources (Eric, PsycInfo, Web of Science, Google Scholar
Gebruik secundaire bronnen (reviews) Lees primaire bronnen
Synthetiseren van de literatuur Welke bronnen neem je mee op? Wat
soort onderzoek neem je mee op? Wat zijn je zoektermen
(descriptoren)? Welke beperkingen leg je op (bv. jaartallen)? Bv.
Start om onderzoeksvraag te beantwoorden naar optel en
aftrekstrategien in de eerste drie leerjaren in de lagere school.
~> zie sessie 2: de onderzoekende houding als startpunt voor
praktijkgericht onderzoek
- Dia 9
- Kiezen van methode: Weten Vragenlijstonderzoek: inzicht in
kenmerken van een groep (leerkrachten, directie, leerlingen)
Schriftelijke vragenlijst: Belangrijk: oDuidelijke, eenduidige
vragen stellen (open of gesloten vragen?) oEerlijke antwoorden
generen oRespons bij schriftelijke vragenlijst Voordeel: oGrote
groep in korte tijd bevragen oVaak eenduidige kwantitatieve
verwerking Bv. Percepties van studenten over digitale cursussen
meten
- Dia 10
- Kiezen van methode: Weten Vragenlijstonderzoek (vervolg)
Interview: Belangrijk: oDuidelijke, eenduidige vragen stellen oOpen
gesprek, eerlijke antwoorden genereren Voordeel: oStellen van open
vragen oHet kunnen doorvragen Bv. Zicht krijgen op gehanteerde
strategien door leerlingen (retrospectief) bij rekenen Interview
met directie om zicht te krijgen op mate waarin ICT- gebruik
ondersteund wordt door de directie
- Dia 11
- Kiezen van methode: Weten Etnografisch onderzoek: een volledig
beeld krijgen van processen (bv. Wat doen leerlingen tijdens een
les LO?) Observeren en interviewen op geregelde tijdstippen van
leden van de bestudeerde groep, zo volledig mogelijk beeld krijgen
Vaak over langere periode Belangrijk: Sterk afhankelijk van de
specifieke onderzoeker Niet altijd veralgemeenbaar Moeilijk
controleerbaar Kwalitatieve gevalsstudies Grondige studie van
afzonderlijke cases Identificeren van fenomenen Bijdragen tot
theorievorming
- Dia 12
- Kiezen van methode: Weten Nog andere beschrijvende methoden
Narratief onderzoek Biografie: focus op belangrijke gebeurtenissen
in iemands leven Fenomenologie: focus op specifiek fenomeen (bv.
Conflicten, critical incidents) Grounded theory: ontwikkelen van
theorie op basis van data Documentanalyse (bv. Handboekanalyse,
analyse van bachelorproeven)
- Dia 13
- Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het
gamegedrag van jongeren en hun opvattingen over het gebruik van
games in het onderwijs Aanbod van online vragenlijst aan 487
leerlingen secundair onderwijs en 298 studenten lerarenopleiding
Online vragenlijst bestaande uit open en gesloten vragen 1.
Gesloten vragen Ja/neen; meerkeuzevragen Speel je digitale games?
(ja/neen) Hoe vaak? (
- Kiezen van methode: weten II. Verkennen van verbanden Relaties
tussen verschillende variabelen, gebeurtenissen => GEEN
oorzakelijke uitspraken! => GEEN basis om interventie te doen Is
er een relatie tussen leerkracht gedrag en score op een test van
leerlingen, of sociaal economische status, relatie tussen attitudes
en prestaties, geslacht en attitude
- Dia 19
- Kiezen van methode: weten Correlationeel onderzoek: onderzoeken
van relaties tussen verschillende variabelen (bv. Samenhang tussen
leesvaardigheid en oplossen van vraagstukken en begrijpen van
wiskundige begrippen) Geen manipulatie Afnemen van instrumenten om
de verschillende variabelen te meten (bv. Vragenlijst, testen) Geen
causale uitspraken, maar vaak wel basis Causaal-comparatief
onderzoek: zoeken naar de oorzaak of het gevolg van bestaande
verschillen tussen groepen Onderzoeken van effecten Onderzoeken van
oorzaken Onderzoeken van gevolgen
- Dia 20
- Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het
gamegedrag van jongeren en hun opvattingen over het gebruik van
games in het onderwijs Correlationeel onderzoek 1. Nagaan van
verband tussen enerzijds gamegedrag van Vlaamse jongeren en
anderzijds Opleiding (secundair onderwijs lerarenopleiding)
Geslacht (man vrouw) ICT-vaardigheden (zwak matig sterk) 2. Nagaan
van verband tussen enerzijds houding t.o.v. games in het onderwijs
en anderzijds gamegedrag
- Dia 21
- Kiezen van methode: Weten Voorbeeld 2 Onderzoek naar de houding
van directieleden (lager onderwijs) tegenover leerkrachten met
dyslexie in het onderwijs Correlationeel onderzoek: nagaan van
verbanden tussen enerzijds houding tegenover leerkrachten met
dyslexie in het onderwijs en anderzijds ervaringen met deze
leerkrachten
- Dia 22
- Kiezen van methode: veranderen / evalueren III.
Interventiestudie een bepaalde interventie, methode wordt verwacht
een invloed te hebben op specifieke variabelen => uitspraken
doen over effectiviteit van methoden => bevestigen (of juist
niet) van theoretische voorspellingen Effect van verschillende
onderwijsmethoden op leerresultaten Effect van werken vanuit
ervaringen bij kinderen op wetenschappelijk denken
- Dia 23
- Kiezen van methode: veranderen / evalueren experimenteel
onderzoek: uittesten van verschillende interventies en effect ervan
onderzoeken onafhankelijke (interventie) en afhankelijke variabelen
manipuleren van onafhankelijke variabele maakt de interventie een
verschil? Pre-test __________interventie_________Post-test Pre-test
____________________________Post-test Belangrijk Controleren andere
variabelen Selectie van deelnemers: at random =>
quasi-experimenteel design
- Dia 24
- Kiezen van methode: veranderen / evaluerenVoorbeeld Onderzoek
naar de effecten van de implementatie van de leerlijn
onderzoekvaardigheden in de lerarenopleiding op de opvattingen
m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht
onderzoek van studenten lerarenopleiding Pretest: schriftelijke
vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren
van praktijkgericht onderzoek in de eigen onderwijspraktijk
(gesloten vragen, open vragen) Interventie 1. Studenten
controlegroep: afstudeerders, geen expliciete instructie m.b.t. het
zelf opzetten en uitvoeren van praktijkgericht onderzoek
- Dia 25
- Kiezen van methode: veranderen / evaluerenVoorbeeld Interventie
1. Studenten controlegroep 2. Studenten experimentele groep:
gerichte en expliciete interventie (nieuwe leerlijn) m.b.t. het
zelf opzetten en uitvoeren van praktijkgericht onderzoek;
driejarige leerlijn Posttest: schriftelijke vragenlijst m.b.t.
opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht
onderzoek in de eigen onderwijspraktijk (gesloten vragen, open
vragen) Analyse van invloed interventie op opvattingen studenten
(vergelijking experimentele groep, controlegroep)
- Dia 26
- Kiezen van methode: ontwerpen IV. Design-based research
(~ontwikkelingsonderzoek) Vijf kenmerken: Pragmatic, Grounded,
Interactive, iterative and flexible, Integrative, and Contextual
Pragmatisch: vertrekkend vanuit probleem in realiteit door
interventie en uitbreiden van theorie Gegrond (grounded): zowel in
de realiteit als in de theorie Interactief, Iteratief en flexibel:
samenwerking tussen onderzoekers en leerkrachten, gedurende lange
tijd, continue verfijning van interventie Integratief: variatie aan
onderzoeksmethoden, zowel kwalitatief als kwantitatief In
context
- Dia 27
- Kiezen van methode Actieonderzoek teacher as researcher
Onderzoeken van eigen praktijk Systematisch en kritisch Oog op
verbetering van eigen lespraktijk ~> illustraties van
praktijkgericht onderzoek (SoE CLARA)
- Dia 28
- Kiezen van methode: besluit De ene methode niet beter dan de
andere Belangrijk die methode te kiezen die een antwoord geeft op
je onderzoeksvraag In praktijk vaak verschillende methoden en
verschillende instrument (triangulatie) Belang van critical friend
hoe nauwer je als onderzoeker betrokken bent bij het onderzoek
- Dia 29
- Steekproeftrekking Wie zijn mijn deelnemers, bij wie doe ik een
bevraging? Populatie groot?=> deelverzameling Representativiteit
=> generaliseren Afhankelijk van kenmerken waarin je
genteresseerd bent (bv. Onderwijstype, geslacht, SES,..) Zelden
volledige representativiteit Representatief voor bepaalde
variabelen, niet voor andere
- Dia 30
- Steekproeftrekking Soorten steekproef Zuivere toevalssteekproef
Volledige lijst van onderzoekselementen (bv. Lijst met alle
leerkrachten), trekken op basis van toeval Conceptueel eenvoudig,
maar weinig gebruikt oMoeilijk om exhaustieve lijst van
onderzoekselementen op te stellen oGeografische spreiding van de
onderzoekselementen oRepresentativiteit niet gegarandeerd (bij
kleinere steekproef) Gestratificeerde enkelvoudige aselecte
steekproef: Onderscheiden van deelpopulaties die verschillen op
relevante variabele (bv. Leerkrachten uit GO! Leerkrachten VGO,
leerkrachten OGO) Deelgroepen = strata Nemen van enkelvoudige
aselecte steekproef binnen de strata Proportionele verdeling gelijk
aan verdeling in de populatie, of bewust niet proportionele
verdeling
- Dia 31
- Steekproeftrekking Getrapte steekproef Eerst aantal primaire
eenheden selecteren (bv. scholen) Steekproef van secundaire
eenheden (bv. leerkrachten) uit geselecteerde primaire eenheden
Gemakkelijkheidssteekproef Eenvoudig Moeilijk generaliseerbaar, obv
theoretische argumenten
- Dia 32
- Validiteit en betrouwbaarheid Validiteit Inhoudsvaliditeit:
zijn de indicatoren en vragen een goede afspiegeling van de te
meten variabele (bv. Aanwezigheid op schoolvergadering goed
indicator van leerkrachtmotivatie?) Criteriumvaliditeit: hangen
scores van deelnemers op een instrument samen met de scores die
deelnemers behalen op een extern criterium (vooronderzoek voor
nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT
is dat inderdaad een indicator voor het effectief gebruik?)
Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde
toepassing op dezelfde, onveranderde elementen dezelfde waarde van
de variabele als meetresultaat oplevert.
- Dia 33
- Verwerking data Afhankelijk van methode Kwantitatief Zorg voor
datafile Verwerking kan excel, spss, sas,. Kwalitatief
Coderingschema opstellen Turven ~kwantitatief beschrijven Tip:
Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden.
Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011).
Basiscursus SPSS. Assen: Van Gorcum
- Dia 34
- Waarborgen van praktijkrelevantie Relatief eenvoudig bij
actie-onderzoek, design-based research Niet uit het oog verliezen
bij interventieonderzoek Zorg voor betrekken van praktijk bij elke
stap in het onderzoek Resultaten bekijken vanuit theoretische
relevantie, maar ook praktijkrelevantie (disseminatie naar
praktijk! ~sessie 6)
- Dia 35
- Aan de slag Vertrek in groepjes van 5 met een onderzoeksvraag
die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag.
Schrijf hiervoor de methode, instrumenten, deelnemers uit.