Dia 1

Geraldine Clarebout & Joke Torbeyns 07-09-2012 Methoden en technieken van kwaliteitsvol praktijkgericht onderzoek Contact: geraldine.clarebout@kuleuven-kulak.be; joke.torbeyns@ppw.kuleuven.begeraldine.clarebout@kuleuven-kulak.be joke.torbeyns@ppw.kuleuven.be

Dia 2

Inhoud Kiezen van methoden: verschillende types Steekproeftrekking Betrouwbaarheid en validiteit Verwerking van data Praktijkrelevantie bewaken Aan de slag

Dia 3

Kiezen van methode Eerste stap in onderzoeksproces: probleemstelling, onderzoekvraag (evt. hypothesen) obv literatuur, rele problemen (zie sessie 2: De onderzoekende houding als startpunt van praktijkgericht onderzoek) Tweede stap in onderzoeksproces Kiezen van methode Verschillende opdelingen, verschillende benamingen kwantitatief kwalitatief onderzoek Algemeen onderzoekstypes Specifieke onderzoekstypes Keuze afhankelijk van vraag, van soort data dat je wenst te verzamelen en soms afhankelijk van praktische mogelijkheden

Dia 4

Kiezen van methoden (tabel uit Dieussaert, Smits, & Goubin, 2011) Doel van het onderzoek Wat?Kwantitatieve benadering Kwalitatieve benadering WetenBeschrijven van een situatie, definiren van een concept Hoe vaak komt iets voor? Wat zijn eigenschappen van? Uit welke bestanddelen bestaat het fenomeen? Wat denkt men over.? Welke verschillende opvattingen zijn er over? Welke dimensie omvat fenomeen? Wat is belangrijk bij? Verkennen van een verband Welke factoren zijn gerelateerd aan? Volgens welk patroon of proces evolueert fenomeen x? Wat zijn de antecedenten van? VergelijkenIn welke mate verschilt X van Y mbt kenmerk..? Waarin verschillen de opvattingen van groep A tov groep B? Hoe gedraagt groep A zich in vergelijking met groep B?

Dia 5

Doel van het onderzoek Wat?Kwantitatieve benadering Kwalitatieve benadering WetenVerklarenWelke factoren veroorzaken X? In welke mate leidt een toename van X tot een toename van Y? Hoe is de situatie ontstaan? Hoe kan men fenomeen X verklaren? Wat houdt het in stand? VeranderenExperimenteel ingrijpen, actieonderzoek Leidt interventie X totHoe kan dynamiek X op gang gebracht worden? EvaluerenMeten of evalueren van effecten In welke mate heeft ingreep X effect op? Geeft ingreep A betere resultaten dan ingreep B op.? In welke mate zijn mensen tevreden over.? Wat zijn de gevolgen van het invoeren van? Hoe denken mensen over de nieuwe evolutie in.? Wat roept X of Y op? OntwerpenOplossen voor een nieuwe probleem, nieuwe toepassing Ontwikkelonderzoek maakt vaak gebruik van een veelheid aan methodes en vooral van een gefundeerde trial and error- benadering, om zo tot een goed product te komen in systematische stappen

Dia 6

Kiezen van methode Algemene onderzoekstypes I. Beschrijvende studies II. Associatief onderzoek III. Interventieonderzoek I. Design based research II. Actieonderzoek

Dia 7

Kiezen van methode: weten I. Beschrijvende studies Beschrijving van situatie (bv. beschrijving van voorkeuren van studenten, beschrijving van klassen, gedrag van studenten, scores op testen, soorten handboeken) door literatuuronderzoek of vragenlijstonderzoek Geen inzicht in waarom; kan basis zijn voor verder onderzoek Weten wat er is

Dia 8

Kiezen van Methode: Weten Literatuurstudie: Zoek naar preliminary sources (Eric, PsycInfo, Web of Science, Google Scholar Gebruik secundaire bronnen (reviews) Lees primaire bronnen Synthetiseren van de literatuur Welke bronnen neem je mee op? Wat soort onderzoek neem je mee op? Wat zijn je zoektermen (descriptoren)? Welke beperkingen leg je op (bv. jaartallen)? Bv. Start om onderzoeksvraag te beantwoorden naar optel en aftrekstrategien in de eerste drie leerjaren in de lagere school. ~> zie sessie 2: de onderzoekende houding als startpunt voor praktijkgericht onderzoek

Dia 9

Kiezen van methode: Weten Vragenlijstonderzoek: inzicht in kenmerken van een groep (leerkrachten, directie, leerlingen) Schriftelijke vragenlijst: Belangrijk: oDuidelijke, eenduidige vragen stellen (open of gesloten vragen?) oEerlijke antwoorden generen oRespons bij schriftelijke vragenlijst Voordeel: oGrote groep in korte tijd bevragen oVaak eenduidige kwantitatieve verwerking Bv. Percepties van studenten over digitale cursussen meten

Dia 10

Kiezen van methode: Weten Vragenlijstonderzoek (vervolg) Interview: Belangrijk: oDuidelijke, eenduidige vragen stellen oOpen gesprek, eerlijke antwoorden genereren Voordeel: oStellen van open vragen oHet kunnen doorvragen Bv. Zicht krijgen op gehanteerde strategien door leerlingen (retrospectief) bij rekenen Interview met directie om zicht te krijgen op mate waarin ICT- gebruik ondersteund wordt door de directie

Dia 11

Kiezen van methode: Weten Etnografisch onderzoek: een volledig beeld krijgen van processen (bv. Wat doen leerlingen tijdens een les LO?) Observeren en interviewen op geregelde tijdstippen van leden van de bestudeerde groep, zo volledig mogelijk beeld krijgen Vaak over langere periode Belangrijk: Sterk afhankelijk van de specifieke onderzoeker Niet altijd veralgemeenbaar Moeilijk controleerbaar Kwalitatieve gevalsstudies Grondige studie van afzonderlijke cases Identificeren van fenomenen Bijdragen tot theorievorming

Dia 12

Kiezen van methode: Weten Nog andere beschrijvende methoden Narratief onderzoek Biografie: focus op belangrijke gebeurtenissen in iemands leven Fenomenologie: focus op specifiek fenomeen (bv. Conflicten, critical incidents) Grounded theory: ontwikkelen van theorie op basis van data Documentanalyse (bv. Handboekanalyse, analyse van bachelorproeven)

Dia 13

Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs Aanbod van online vragenlijst aan 487 leerlingen secundair onderwijs en 298 studenten lerarenopleiding Online vragenlijst bestaande uit open en gesloten vragen 1. Gesloten vragen Ja/neen; meerkeuzevragen Speel je digitale games? (ja/neen) Hoe vaak? (

Kiezen van methode: weten II. Verkennen van verbanden Relaties tussen verschillende variabelen, gebeurtenissen => GEEN oorzakelijke uitspraken! => GEEN basis om interventie te doen Is er een relatie tussen leerkracht gedrag en score op een test van leerlingen, of sociaal economische status, relatie tussen attitudes en prestaties, geslacht en attitude

Dia 19

Kiezen van methode: weten Correlationeel onderzoek: onderzoeken van relaties tussen verschillende variabelen (bv. Samenhang tussen leesvaardigheid en oplossen van vraagstukken en begrijpen van wiskundige begrippen) Geen manipulatie Afnemen van instrumenten om de verschillende variabelen te meten (bv. Vragenlijst, testen) Geen causale uitspraken, maar vaak wel basis Causaal-comparatief onderzoek: zoeken naar de oorzaak of het gevolg van bestaande verschillen tussen groepen Onderzoeken van effecten Onderzoeken van oorzaken Onderzoeken van gevolgen

Dia 20

Kiezen van methode: Weten Voorbeeld 1 Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs Correlationeel onderzoek 1. Nagaan van verband tussen enerzijds gamegedrag van Vlaamse jongeren en anderzijds Opleiding (secundair onderwijs lerarenopleiding) Geslacht (man vrouw) ICT-vaardigheden (zwak matig sterk) 2. Nagaan van verband tussen enerzijds houding t.o.v. games in het onderwijs en anderzijds gamegedrag

Dia 21

Kiezen van methode: Weten Voorbeeld 2 Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijs Correlationeel onderzoek: nagaan van verbanden tussen enerzijds houding tegenover leerkrachten met dyslexie in het onderwijs en anderzijds ervaringen met deze leerkrachten

Dia 22

Kiezen van methode: veranderen / evalueren III. Interventiestudie een bepaalde interventie, methode wordt verwacht een invloed te hebben op specifieke variabelen => uitspraken doen over effectiviteit van methoden => bevestigen (of juist niet) van theoretische voorspellingen Effect van verschillende onderwijsmethoden op leerresultaten Effect van werken vanuit ervaringen bij kinderen op wetenschappelijk denken

Dia 23

Kiezen van methode: veranderen / evalueren experimenteel onderzoek: uittesten van verschillende interventies en effect ervan onderzoeken onafhankelijke (interventie) en afhankelijke variabelen manipuleren van onafhankelijke variabele maakt de interventie een verschil? Pre-test __________interventie_________Post-test Pre-test ____________________________Post-test Belangrijk Controleren andere variabelen Selectie van deelnemers: at random => quasi-experimenteel design

Dia 24

Kiezen van methode: veranderen / evaluerenVoorbeeld Onderzoek naar de effecten van de implementatie van de leerlijn onderzoekvaardigheden in de lerarenopleiding op de opvattingen m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht onderzoek van studenten lerarenopleiding Pretest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen) Interventie 1. Studenten controlegroep: afstudeerders, geen expliciete instructie m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek

Dia 25

Kiezen van methode: veranderen / evaluerenVoorbeeld Interventie 1. Studenten controlegroep 2. Studenten experimentele groep: gerichte en expliciete interventie (nieuwe leerlijn) m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek; driejarige leerlijn Posttest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen) Analyse van invloed interventie op opvattingen studenten (vergelijking experimentele groep, controlegroep)

Dia 26

Kiezen van methode: ontwerpen IV. Design-based research (~ontwikkelingsonderzoek) Vijf kenmerken: Pragmatic, Grounded, Interactive, iterative and flexible, Integrative, and Contextual Pragmatisch: vertrekkend vanuit probleem in realiteit door interventie en uitbreiden van theorie Gegrond (grounded): zowel in de realiteit als in de theorie Interactief, Iteratief en flexibel: samenwerking tussen onderzoekers en leerkrachten, gedurende lange tijd, continue verfijning van interventie Integratief: variatie aan onderzoeksmethoden, zowel kwalitatief als kwantitatief In context

Dia 27

Kiezen van methode Actieonderzoek teacher as researcher Onderzoeken van eigen praktijk Systematisch en kritisch Oog op verbetering van eigen lespraktijk ~> illustraties van praktijkgericht onderzoek (SoE CLARA)

Dia 28

Kiezen van methode: besluit De ene methode niet beter dan de andere Belangrijk die methode te kiezen die een antwoord geeft op je onderzoeksvraag In praktijk vaak verschillende methoden en verschillende instrument (triangulatie) Belang van critical friend hoe nauwer je als onderzoeker betrokken bent bij het onderzoek

Dia 29

Steekproeftrekking Wie zijn mijn deelnemers, bij wie doe ik een bevraging? Populatie groot?=> deelverzameling Representativiteit => generaliseren Afhankelijk van kenmerken waarin je genteresseerd bent (bv. Onderwijstype, geslacht, SES,..) Zelden volledige representativiteit Representatief voor bepaalde variabelen, niet voor andere

Dia 30

Steekproeftrekking Soorten steekproef Zuivere toevalssteekproef Volledige lijst van onderzoekselementen (bv. Lijst met alle leerkrachten), trekken op basis van toeval Conceptueel eenvoudig, maar weinig gebruikt oMoeilijk om exhaustieve lijst van onderzoekselementen op te stellen oGeografische spreiding van de onderzoekselementen oRepresentativiteit niet gegarandeerd (bij kleinere steekproef) Gestratificeerde enkelvoudige aselecte steekproef: Onderscheiden van deelpopulaties die verschillen op relevante variabele (bv. Leerkrachten uit GO! Leerkrachten VGO, leerkrachten OGO) Deelgroepen = strata Nemen van enkelvoudige aselecte steekproef binnen de strata Proportionele verdeling gelijk aan verdeling in de populatie, of bewust niet proportionele verdeling

Dia 31

Steekproeftrekking Getrapte steekproef Eerst aantal primaire eenheden selecteren (bv. scholen) Steekproef van secundaire eenheden (bv. leerkrachten) uit geselecteerde primaire eenheden Gemakkelijkheidssteekproef Eenvoudig Moeilijk generaliseerbaar, obv theoretische argumenten

Dia 32

Validiteit en betrouwbaarheid Validiteit Inhoudsvaliditeit: zijn de indicatoren en vragen een goede afspiegeling van de te meten variabele (bv. Aanwezigheid op schoolvergadering goed indicator van leerkrachtmotivatie?) Criteriumvaliditeit: hangen scores van deelnemers op een instrument samen met de scores die deelnemers behalen op een extern criterium (vooronderzoek voor nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT is dat inderdaad een indicator voor het effectief gebruik?) Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde toepassing op dezelfde, onveranderde elementen dezelfde waarde van de variabele als meetresultaat oplevert.

Dia 33

Verwerking data Afhankelijk van methode Kwantitatief Zorg voor datafile Verwerking kan excel, spss, sas,. Kwalitatief Coderingschema opstellen Turven ~kwantitatief beschrijven Tip: Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden. Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011). Basiscursus SPSS. Assen: Van Gorcum

Dia 34

Waarborgen van praktijkrelevantie Relatief eenvoudig bij actie-onderzoek, design-based research Niet uit het oog verliezen bij interventieonderzoek Zorg voor betrekken van praktijk bij elke stap in het onderzoek Resultaten bekijken vanuit theoretische relevantie, maar ook praktijkrelevantie (disseminatie naar praktijk! ~sessie 6)

Dia 35

Aan de slag Vertrek in groepjes van 5 met een onderzoeksvraag die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag. Schrijf hiervoor de methode, instrumenten, deelnemers uit.