Tekstbronnen bestuderen...wijze data te verzamelen •Bestaande instrumenten of zelf instrument...

1/15/20

1

AOS docentonderzoekbijeenkomst 6Onderzoeksinstrumenten

Rian Aarts & Joske Piepers

www.docentonderzoekbrabant.nl

1

Bijeenkomst 6

• Onderzoeksplannen: Methode• Vandaag:

• Onderzoeksinstrumenten• Ontwerp maken

2

Data verzamelen

• Gericht: moet bijdragen aan beantwoorden onderzoeksvraag.

• Instrumenten: middelen die je helpen om op eenduidige wijze data te verzamelen

• Bestaande instrumenten of zelf instrument maken


3

Ethische aspecten van onderzoek

1.Doen de respondenten vrijwillig aan het onderzoek mee?

2.Wordt er aan de respondenten van tevoren duidelijk uitgelegd wat het doel en de werkwijze van het onderzoek zijn?

3.Worden de gegevens van de respondenten vertrouwelijk, maar het liefst anoniem verwerkt?

4.Hebben de uitkomsten van het onderzoek geen nadelige gevolgen voor de respondenten?

5.Wordt het onderzoek op een eerlijke en objectieve manier uitgevoerd?

4

Instrumenten

• Tekstbronnen bestuderen• Toets• Bezoeken• Observeren• Bevragen

• Het interview• De vragenlijst


5

Tekstbronnen bestuderen

• Kijkkader met concreet omschreven kijkpunten• Bijvoorbeeld: lesmateriaal bestuderen op culturele

diversiteit


Aantal keer Beschrijving / context

personen met verschillendeachtergronden

Situaties buiten Nederland

Situaties waarin interculturelecommunicatie plaatsvindt

6

1/15/20

2

Toets

• Kennis of vaardigheden• Onderzoeksvraag: Zijn leerdoelen gehaald?

• ontwikkeling; leervorderingen; leereffect van een aanpak

• Bestaande toetsen: methodegebonden of onafhankelijketoetsen

• Zelf toets maken: doel vaststellen; inhoud erop afstemmen; nauwkeurig formuleren (kort, zakelijk); voldoende opdrachten, tijd.

• Vraagvormen: • open (mondeling; essay; opdrachten; van tevoren

beoordelingscriteria opstellen)• gesloten (ja/nee; meerkeuze; matching).


7

Bezoeken

• Doel van bezoek (welke deelvraag)• Plannen: wanneer, wie, wat, hoe (bestuderen,

observeren, bevragen)• Contact leggen en afspraken maken (bijv over wat er

met resultaten gebeurt; anonimiteit)• Verslaglegging: kort na je bezoek (vers); geef context

van school/instelling• Terugkoppeling


8

Observeren (1)

• Doelgericht kijken naar situaties in de onderwijspraktijk• Opbrengst: inzicht in wat er daadwerkelijk gebeurt in de

praktijk• Nadeel: tijdsintensief. • Aandachtspunt: objectviteit.• Onderzoeksvraag (waarom je observeert) is leidend voor

wat, wie en op welke manier


9

Observeren (2)

Eenmalig (eenmalige situatie)

Vaker (verschillende tijdstippen, situaties, verloop over tijd)

Participerend dagelijkse praktijk: validiteit + betrokkenheid: objectiviteit -

Niet-participerend inbreuk op normale gang van zaken: validiteit -als buitenstaander: objectiviteit +

Direct (directe registratie)

Indirect (opname maken)

Gestructureerd (concrete aspecten turven)

Minder/Niet gestructureerd (beschrijving maken)


10

Observatie-instrumenten

Minder gestructureerd:- observatieschema met observatiedoel en

observatiepunten.

Gestructureerd: observatiecategorieën en punten:- Of iets voorkomt: per tijdseenheid registreren;- Hoe vaak iets voorkomt: elke keer dat gedrag voorkomt

turven;- Hoe lang iets duurt: gedrag + duur ervan;- In welke mate of hoe intens iets voorkomt:

beoordelingsschalen (betrouwbaarheid en objectiviteit -).


11

Voorbeeld: Observatieformulier(ICALT-instrument, RUG, lerenobserveren.nl)

12

1/15/20

3

Observatieverslag

• Doel aangeven• Observatiepunten aangeven

• Geef informatie over plaats, datum, tijd, situatie• Beschrijf waarneembaar gedrag• Vermijd interpretaties en waarderingen• Beschrijf wat vooraf gaat aan gedrag en wat erop volgt

(stimuluscondities).


13

Bevragen

Onderzoeksvraag is leidend voor wat, wie en op welkemanier

• Wat: onderwerp in kaart brengen; gevoelens, meningenbevragen; ideeën, adviezen; kennis.

• Wie: leerlingen, leraren, directie, ouders…Allemaal of steekproef:

- Reputatiemethode (specialist; evt. sneeuwbalsysteem)- Aspectenmethode (per aspect een vertegenwoordiger)- Steekproeftrekking (random: representatief beeld).


14

Bevragen

Mondeling: • Individueel interview (gevoelig thema, geen

beïnvloeding) • Focusgroep (reacties op elkaar,

verschillende perspectieven). Denk na over: grootte en samenstelling groep

Schriftelijk: Vragenlijst/enquêteVoordeel: tijd

Nadeel: verschillende interpretaties, nietdoorvragen


15

Bevragen

Aandachtspunten:- Begrippen en aanduidingen (veel, goed) kunnen

verschillend geïnterpreteerd worden- Mogelijke invloed van aanwezige personen, plaats,

tijdstip, context van het onderzoek- Vraagstelling; niet suggestief!


16

Bevragen: individueel of groep(bron: Baarda, 2014)

Individueel Groep

Respondentvriendelijk Ja Ja, men is vaak al aanwezig

Respondent heeft tijd om na tedenken over antwoorden

Nee Nee

Controle op beantwoordingsproces Zeer goede controle op beantwoordingsproces

Beperkte controle achterafmogelijk

Ingewikkelde vragen enbeantwoordingsprocessen mogelijk

Ja Is hier wat lastiger

Anonimiteit Niet Niet

Invloed interviewer Mogelijk probleem Mogelijk probleem, leidengroep ook extra moeilijk

Algehele afname en verwerkingstijd Veel Levert veel tijdswinst op

(Gedeeltelijke) non-respons Wanneer afspraakgemaakt, nauwelijks

Heel laag, men is immers al aanwezig

Invloed groep Niet Positief: groep kaninspireren, negatief groepsdruk

17

Wat mankeert er aan deze vragen?

1. De film Titanic is door meer mensen gezien dan welke andere film tot nu toe. Hebt u de film gezien?

2. Bent u van mening dat de laatste kabinetsformatie te lang heeft geduurd?

3. Ik lees mijn studieboeken uitsluitend in vertaling. soms/meestal/altijd4. Vindt u het plezierig om per bus of trein te reizen?5. Leest u een dagblad, zoals de Volkskrant?6. Hoeveel boeken hebt u het afgelopen jaar gelezen?7. Ik vind het hier best aardig wonen. eens/oneens8. Ik zou niet teleurgesteld zijn als ik niet geschikt zou zijn.

helemaal oneens – oneens – eens – helemaal eens


18

1/15/20

4

Bevragen: mondeling of schriftelijk(bron: Baarda, 2014)

Mondeling / interview Schriftelijk / vragenlijst

Respondentvriendelijk Ja Nee

Respondent heeft tijd om na tedenken over antwoorden

Nauwelijks Ja

Controle op beantwoordingsproces Ja Nee

Ingewikkelde vragen enbeantwoordingsprocessen mogelijk

Ja Nee

Anonimiteit Niet Wel

Invloed interviewer Mogelijk probleem Geen probleem

Voorbereidingstijd Relatief weinig, traineninterviewers

Veel, grondig ontwikkelenen testen van vragenlijst

Algehele afname en verwerkingstijd Veel Relatief weinig

(Gedeeltelijke) non-respons Wanneer afspraakgemaakt, nauwelijks

Veel/hoog

19

Liever interview dan enquête als ….• … vragen veel toelichting nodig hebben• … er veel open vragen worden gesteld.Voordelen:• Interviews vergen minder taalvaardigheden en

gedisciplineerdheid van de ondervraagden.• Bij interviews zijn de gegevens completer; bij ontbrekende

gegevens is de reden bekend.Maar:• Interviews kosten veel tijd• zijn minder anoniem• er zijn veel factoren die het resultaat kunnen beïnvloeden.


20

Interview: communicatie

• Lichaamstaal: oogcontact• Sfeer: veilig, aandacht, tijd nemen• Omgeving: rustig• Begrip tonen• Actief luisteren• Neutraal reageren; niet sturend


21

Soorten interviewvragen

Gesloten en open vragen

• Inleidend (kun je me iets vertellen over….)• Vervolg (inzoomen; meer informatie krijgen)• Verdiepend (kun je dat nader toelichten)• Specificerend (kun je een voorbeeld geven; hoe ziet dat er in

de praktijk uit?)• Direct (wat vind je van…)• Indirect (hoe denk je dat de leerlingen dit zien…)• Structurerend (iets afsluiten, met nieuw thema beginnen)• Interpreterend (klopt het dat…; bedoelde je dat …)


22

De geïnterviewde

Een geïnterviewde kan geneigd zijn om:• sociaal acceptabel of wenselijk te antwoorden• zich van zijn beste kant te laten zien• vanuit een bepaalde rol te spreken• een vaag en vrijwel nietszeggend antwoord te geven

(doorvragen)• afleiden naar een ander onderwerp


23

Het interview

Interviewleidraad (stappenplan) met:• Doel, manier van vastleggen, afspraken met

respondenten (anonimiteit, terugkoppeling, duur);

• Opbouw: welke onderwerpen/thema’s in welke volgorde. • Logische ordening: van algemeen naar specifiek

(trechterstructuur) of andersom.• Inleiding (kennismaking), kern, slot (dank).


24

1/15/20

5

Vragenlijst (1)

De vragen• Blokken van vragen die bij elkaar horen• Van algemeen naar specifiek (trechter)• Antwoordmogelijkheid: weet ik niet, niet van toepassing,

geen mening• Filtervragen (overslaan indien niet van toepassing)• Eenduidig en helder formuleren (enkelvoudige vragen,

heldere zinsbouw, vermijd moeilijke woorden; geendubbele ontkenningen)


25

Vragenlijst (2)

Vraagtypen: • Open vragen: diverse antwoorden; moeilijker te

analyseren (achteraf categoriseren)• Gesloten vragen:

- Enkelekeuzevragen (1 mogelijkheid kiezen)- Meerderekeuzevragen (meerdere mogelijkheden

kiezen; uitputtend of: anders, namelijk……)- Vragen met getal als antwoord (vergelijkbaarheid)- Schaalvragen: stelling op schaal zetten- Rangordevragen: antwoorden in volgorde zetten


26

Vragenlijst (3)Bestaande vragenlijst of eigen vragenlijst opstellen.Opbouw:• Informatie voorafDoel onderzoek, verwerking resultaten, anonimiteit, terugkoppeling, contact onderzoeker

• Instructie over hoe in te vullen; antwoordmogelijkheden(1 of meerdere antwoorden)

Let op:• Niet te lang (dan minder nauwkeurig ingevuld)• Pilot: uitproberen bij enkele respondenten.


27

Voorbeeld: Informatie vooraf bij enquête

28

Opdracht

Ga voor de enquête of de interviewvragen na hoe deze nog verbeterdzouden kunnen worden.

29

Stappenplan voor het maken van een instrument

• Uitgangspunt: doel van het instrument• Lijst met kernbegrippen• Opsplitsing van kernbegrippen in deelaspecten• Omzetten van kernbegrippen en deelaspecten in

kijkpunten, observatiepunten, vragen/stellingen.• Ordening aanbrengen.• Voorleggen aan anderen en pilot.


30

1/15/20

6

Stappenplan voor instrument:voorbeeld enquêteDoel Kernbegrip Deelaspecten Kijkpunten

ObservatiepuntenVragen/stellingen

Vaststellenvan waarderinggroepswerkdoor leerlingen

Organisatie van samenwerking

Samenstelling van groepen

Ik zit in een fijne groep.

Verdeling van taken Ik moet veel meer doendan anderen in dezegroep.

Opbrengst van samenwerking

Kennis delen Samen weten we meerdan elk alleen.

Ieders expertise gebruiken

We kunnen in dezegroep van elkaar leren.

…


31

Aan de slag

1. Starten met opstellen onderzoeksinstrument• Gebruik het stappenplan

2. Gebruik van Qualtrics: Joske• Software voor online enquêtes

• Beschikbaar gesteld door Tilburg University

• https://tilburghumanities.eu.qualtrics.com/WRQualtricsControlPanel/#

• Inloggen met Tilburg University e-mailadres

3. Informatie over maken van een ontwerp: Rian


32

StappenplanDoel Kernbegrip Deelaspecten Kijkpunten

ObservatiepuntenVragen/stellingen

doel Kernbegrip 1 Deelaspect 1.1

Deelaspect 1.2

Kernbegrip 2 Deelaspect 2.1

Deelaspect 2.2

Deelaspect 2.3


33

Onderzoekscyclus met ontwerp


34

Ontwerpen

• InnoverenDoelbewuste invoering van een ontwerp om verandering in de praktijk te realiseren.

• OntwerpEen uitgewerkt idee, gebruik of object. Bijv eenlesmodule, een nieuwe werkvorm, een protocol ..

• Een kleine ingreep, een bestaand ontwerp aanpassen, iets nieuws ontwerpen.


35

OntwerponderzoekEerste fase: beschrijven- praktijkprobleem beschrijven; doel en vragen- plannen, data verzamelen- richtlijnen voor oplossing formuleren à ontwerpeisen

Tweede fase: innovatiecyclus- ontwerp maken op basis van eisen- uittesten in de praktijk, data verzamelen- evt herontwerp maken, weer testen- eindpunt: definitief ontwerp (oplossing probleem)


36

https://tilburghumanities.eu.qualtrics.com/WRQualtricsControlPanel/

1/15/20

7

Ontwerpeisen

• Doelgroep: voor welke leerlingen?• De leraar: welke leraren?• Organisatorisch: budget, locatie, tijd…• Pedagogisch, didactisch, vakdidactisch, inhoudelijk:

methodiek, visie, doelen en inhouden.

• Zo concreet en eenduidig mogelijk beschrijven en verantwoorden.


37

Het ontwerp

• Hulpbronnen zoeken: wat is er al?• Ontwerp maken: voldoende specifiek,

gebruikersvriendelijk, aanvaardbaar voor gebruikers, realiseerbaar

• Feedback vragen en zonodig aanpassen• Testen van het ontwerp: volledig, op kleine schaal, in kleine

delen• Testcriteria:

- Voldoet het aan ontwerpeisen?

- Voldoet het in praktijk of komen er nieuwe eisen op?

• Zonodig: herontwerp maken en testen.


38

Spreekuren

Spreekuur op 20 januari

https://docentonderzoekbrabant.wordpress.com/spreekuren/

39

Tekstbronnen bestuderen...wijze data te verzamelen •Bestaande instrumenten of zelf instrument...

Documents

Transcript of Tekstbronnen bestuderen...wijze data te verzamelen •Bestaande instrumenten of zelf instrument...