Aan de slag met vakdidactisch onderzoek: methodologische aspecten

Geraldine Clarebout & Joke Torbeyns07-09-2012Methoden en technieken van kwaliteitsvol praktijkgericht onderzoekContact: geraldine.clarebout@kuleuven-kulak.be; joke.torbeyns@ppw.kuleuven.be

InhoudKiezen van methoden: verschillende typesSteekproeftrekkingBetrouwbaarheid en validiteitVerwerking van dataPraktijkrelevantie bewakenAan de slagKiezen van methodeEerste stap in onderzoeksproces: probleemstelling, onderzoekvraag (evt. hypothesen) obv literatuur, rele problemen (zie sessie 2: De onderzoekende houding als startpunt van praktijkgericht onderzoek)Tweede stap in onderzoeksproces Kiezen van methodeVerschillende opdelingen, verschillende benamingen kwantitatief kwalitatief onderzoekAlgemeen onderzoekstypesSpecifieke onderzoekstypesKeuze afhankelijk van vraag, van soort data dat je wenst te verzamelen en soms afhankelijk van praktische mogelijkhedenKiezen van methoden (tabel uit Dieussaert, Smits, & Goubin, 2011)Doel van het onderzoekWat? Kwantitatieve benaderingKwalitatieve benaderingWetenBeschrijven van een situatie, definiren van een conceptHoe vaak komt iets voor? Wat zijn eigenschappen van?Uit welke bestanddelen bestaat het fenomeen? Wat denkt men over.?Welke verschillende opvattingen zijn er over?Welke dimensie omvat fenomeen?Wat is belangrijk bij?Verkennen van een verbandWelke factoren zijn gerelateerd aan?Volgens welk patroon of proces evolueert fenomeen x? Wat zijn de antecedenten van? Vergelijken In welke mate verschilt X van Y mbt kenmerk..?Waarin verschillen de opvattingen van groep A tov groep B?Hoe gedraagt groep A zich in vergelijking met groep B?Doel van het onderzoekWat? Kwantitatieve benaderingKwalitatieve benaderingWetenVerklarenWelke factoren veroorzaken X?In welke mate leidt een toename van X tot een toename van Y?Hoe is de situatie ontstaan?Hoe kan men fenomeen X verklaren? Wat houdt het in stand?VeranderenExperimenteel ingrijpen, actieonderzoekLeidt interventie X totHoe kan dynamiek X op gang gebracht worden? EvaluerenMeten of evalueren van effectenIn welke mate heeft ingreep X effect op?Geeft ingreep A betere resultaten dan ingreep B op.? In welke mate zijn mensen tevreden over.?Wat zijn de gevolgen van het invoeren van?Hoe denken mensen over de nieuwe evolutie in.?Wat roept X of Y op? OntwerpenOplossen voor een nieuwe probleem, nieuwe toepassingOntwikkelonderzoek maakt vaak gebruik van een veelheid aan methodes en vooral van een gefundeerde trial and error-benadering, om zo tot een goed product te komen in systematische stappenKiezen van methodeAlgemene onderzoekstypes

Beschrijvende studiesAssociatief onderzoekInterventieonderzoek

Design based researchActieonderzoek

Kiezen van methode: wetenBeschrijvende studiesBeschrijving van situatie (bv. beschrijving van voorkeuren van studenten, beschrijving van klassen, gedrag van studenten, scores op testen, soorten handboeken) door literatuuronderzoek of vragenlijstonderzoekGeen inzicht in waarom; kan basis zijn voor verder onderzoekWeten wat er is

Kiezen van Methode: WetenLiteratuurstudie:Zoek naar preliminary sources (Eric, PsycInfo, Web of Science, Google ScholarGebruik secundaire bronnen (reviews)Lees primaire bronnenSynthetiseren van de literatuurWelke bronnen neem je mee op?Wat soort onderzoek neem je mee op?Wat zijn je zoektermen (descriptoren)?Welke beperkingen leg je op (bv. jaartallen)?Bv. Start om onderzoeksvraag te beantwoorden naar optel en aftrekstrategien in de eerste drie leerjaren in de lagere school. ~> zie sessie 2: de onderzoekende houding als startpunt voor praktijkgericht onderzoekKiezen van methode: WetenVragenlijstonderzoek: inzicht in kenmerken van een groep (leerkrachten, directie, leerlingen)Schriftelijke vragenlijst:Belangrijk: Duidelijke, eenduidige vragen stellen (open of gesloten vragen?)Eerlijke antwoorden generenRespons bij schriftelijke vragenlijstVoordeel:Grote groep in korte tijd bevragenVaak eenduidige kwantitatieve verwerkingBv. Percepties van studenten over digitale cursussen meten

Kiezen van methode: WetenVragenlijstonderzoek (vervolg)Interview:Belangrijk:Duidelijke, eenduidige vragen stellenOpen gesprek, eerlijke antwoorden genererenVoordeel:Stellen van open vragenHet kunnen doorvragenBv. Zicht krijgen op gehanteerde strategien door leerlingen (retrospectief) bij rekenenInterview met directie om zicht te krijgen op mate waarin ICT-gebruik ondersteund wordt door de directie

Kiezen van methode: WetenEtnografisch onderzoek: een volledig beeld krijgen van processen (bv. Wat doen leerlingen tijdens een les LO?)Observeren en interviewen op geregelde tijdstippen van leden van de bestudeerde groep, zo volledig mogelijk beeld krijgenVaak over langere periodeBelangrijk: Sterk afhankelijk van de specifieke onderzoekerNiet altijd veralgemeenbaarMoeilijk controleerbaarKwalitatieve gevalsstudiesGrondige studie van afzonderlijke casesIdentificeren van fenomenenBijdragen tot theorievorming

Kiezen van methode: WetenNog andere beschrijvende methodenNarratief onderzoekBiografie: focus op belangrijke gebeurtenissen in iemands levenFenomenologie: focus op specifiek fenomeen (bv. Conflicten, critical incidents)Grounded theory: ontwikkelen van theorie op basis van dataDocumentanalyse (bv. Handboekanalyse, analyse van bachelorproeven)Kiezen van methode: WetenVoorbeeld 1Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijsAanbod van online vragenlijst aan 487 leerlingen secundair onderwijs en 298 studenten lerarenopleidingOnline vragenlijst bestaande uit open en gesloten vragenGesloten vragenJa/neen; meerkeuzevragenSpeel je digitale games? (ja/neen)Hoe vaak? ( GEEN oorzakelijke uitspraken! => GEEN basis om interventie te doen

Is er een relatie tussen leerkracht gedrag en score op een test van leerlingen, of sociaal economische status, relatie tussen attitudes en prestaties, geslacht en attitude

Kiezen van methode: wetenCorrelationeel onderzoek: onderzoeken van relaties tussen verschillende variabelen (bv. Samenhang tussen leesvaardigheid en oplossen van vraagstukken en begrijpen van wiskundige begrippen)Geen manipulatieAfnemen van instrumenten om de verschillende variabelen te meten (bv. Vragenlijst, testen)Geen causale uitspraken, maar vaak wel basisCausaal-comparatief onderzoek: zoeken naar de oorzaak of het gevolg van bestaande verschillen tussen groepenOnderzoeken van effectenOnderzoeken van oorzakenOnderzoeken van gevolgenKiezen van methode: WetenVoorbeeld 1Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijsCorrelationeel onderzoekNagaan van verband tussen enerzijds gamegedrag van Vlaamse jongeren en anderzijdsOpleiding (secundair onderwijs lerarenopleiding)Geslacht (man vrouw)ICT-vaardigheden (zwak matig sterk)Nagaan van verband tussen enerzijds houding t.o.v. games in het onderwijs en anderzijds gamegedragKiezen van methode: WetenVoorbeeld 2Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijsCorrelationeel onderzoek: nagaan van verbanden tussen enerzijds houding tegenover leerkrachten met dyslexie in het onderwijs en anderzijds ervaringen met deze leerkrachten

Kiezen van methode: veranderen / evaluerenIII. Interventiestudieeen bepaalde interventie, methode wordt verwacht een invloed te hebben op specifieke variabelen=> uitspraken doen over effectiviteit van methoden=> bevestigen (of juist niet) van theoretische voorspellingenEffect van verschillende onderwijsmethoden op leerresultatenEffect van werken vanuit ervaringen bij kinderen op wetenschappelijk denkenKiezen van methode: veranderen / evaluerenexperimenteel onderzoek: uittesten van verschillende interventies en effect ervan onderzoekenonafhankelijke (interventie) en afhankelijke variabelenmanipuleren van onafhankelijke variabelemaakt de interventie een verschil? Pre-test __________interventie_________Post-testPre-test ____________________________Post-test

BelangrijkControleren andere variabelenSelectie van deelnemers: at random => quasi-experimenteel design

Kiezen van methode: veranderen / evaluerenVoorbeeldOnderzoek naar de effecten van de implementatie van de leerlijn onderzoekvaardigheden in de lerarenopleiding op de opvattingen m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht onderzoek van studenten lerarenopleidingPretest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen)InterventieStudenten controlegroep: afstudeerders, geen expliciete instructie m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoekKiezen van methode: veranderen / evaluerenVoorbeeldInterventieStudenten controlegroepStudenten experimentele groep: gerichte en expliciete interventie (nieuwe leerlijn) m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek; driejarige leerlijnPosttest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen)Analyse van invloed interventie op opvattingen studenten (vergelijking experimentele groep, controlegroep)

Kiezen van methode: ontwerpenDesign-based research (~ontwikkelingsonderzoek)Vijf kenmerken: Pragmatic, Grounded, Interactive, iterative and flexible, Integrative, and ContextualPragmatisch: vertrekkend vanuit probleem in realiteit door interventie en uitbreiden van theorieGegrond (grounded): zowel in de realiteit als in de theorieInteractief, Iteratief en flexibel: samenwerking tussen onderzoekers en leerkrachten, gedurende lange tijd, continue verfijning van interventieIntegratief: variatie aan onderzoeksmethoden, zowel kwalitatief als kwantitatiefIn context

Kiezen van methodeActieonderzoekteacher as researcherOnderzoeken van eigen praktijkSystematisch en kritischOog op verbetering van eigen lespraktijk

~> illustraties van praktijkgericht onderzoek (SoE CLARA)Kiezen van methode: besluitDe ene methode niet beter dan de andere

Belangrijk die methode te kiezen die een antwoord geeft op je onderzoeksvraag

In praktijk vaak verschillende methoden en verschillende instrument (triangulatie)

Belang van critical friend hoe nauwer je als onderzoeker betrokken bent bij het onderzoekSteekproeftrekkingWie zijn mijn deelnemers, bij wie doe ik een bevraging? Populatie groot?=> deelverzamelingRepresentativiteit => generaliserenAfhankelijk van kenmerken waarin je genteresseerd bent (bv. Onderwijstype, geslacht, SES,..)Zelden volledige representativiteitRepresentatief voor bepaalde variabelen, niet voor andereSteekproeftrekkingSoorten steekproefZuivere toevalssteekproef Volledige lijst van onderzoekselementen (bv. Lijst met alle leerkrachten) , trekken op basis van toevalConceptueel eenvoudig, maar weinig gebruiktMoeilijk om exhaustieve lijst van onderzoekselementen op te stellenGeografische spreiding van de onderzoekselementenRepresentativiteit niet gegarandeerd (bij kleinere steekproef)Gestratificeerde enkelvoudige aselecte steekproef:Onderscheiden van deelpopulaties die verschillen op relevante variabele (bv. Leerkrachten uit GO! Leerkrachten VGO, leerkrachten OGO)Deelgroepen = strataNemen van enkelvoudige aselecte steekproef binnen de strataProportionele verdeling gelijk aan verdeling in de populatie, of bewust niet proportionele verdeling

SteekproeftrekkingGetrapte steekproefEerst aantal primaire eenheden selecteren (bv. scholen)Steekproef van secundaire eenheden (bv. leerkrachten) uit geselecteerde primaire eenhedenGemakkelijkheidssteekproefEenvoudigMoeilijk generaliseerbaar, obv theoretische argumenten

Validiteit en betrouwbaarheidValiditeitInhoudsvaliditeit: zijn de indicatoren en vragen een goede afspiegeling van de te meten variabele (bv. Aanwezigheid op schoolvergadering goed indicator van leerkrachtmotivatie?)Criteriumvaliditeit: hangen scores van deelnemers op een instrument samen met de scores die deelnemers behalen op een extern criterium (vooronderzoek voor nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT is dat inderdaad een indicator voor het effectief gebruik?)Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde toepassing op dezelfde, onveranderde elementen dezelfde waarde van de variabele als meetresultaat oplevert. Verwerking dataAfhankelijk van methodeKwantitatiefZorg voor datafileVerwerking kan excel, spss, sas,. KwalitatiefCoderingschema opstellenTurven ~kwantitatiefbeschrijven

Tip: Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden. Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011). Basiscursus SPSS. Assen: Van GorcumWaarborgen van praktijkrelevantieRelatief eenvoudig bij actie-onderzoek, design-based research

Niet uit het oog verliezen bij interventieonderzoekZorg voor betrekken van praktijk bij elke stap in het onderzoekResultaten bekijken vanuit theoretische relevantie, maar ook praktijkrelevantie (disseminatie naar praktijk! ~sessie 6) Aan de slagVertrek in groepjes van 5 met een onderzoeksvraag die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag. Schrijf hiervoor de methode, instrumenten, deelnemers uit.