Inter codeurbetrouwbaarheid

Intercodeurbetrouwbaarheids-berekeningDe Achtergrond / De Opdrachten

Betrouwbaarheid

• Een andere onderzoeker komt met hetzelfde meetinstrument tot dezelfde resultaten

Verstoringen betrouwbaarheid• Enquête

• enquêteur luistert niet goed of interpreteert een antwoord

• Inhoudsanalyse

• Codeur interpreteert een actie, uitspraak of beweging binnen een ‘text’ op zijn of haar eigen manier

Betrouwbaarheids-analyse• Test van het meetinstrument

• Categorieënindeling

• Codeerinstructies

• Zijn twee codeurs op basis van het meetinstrument bij eenzelfde case tot eenzelfde categorisering gekomen?

Overeenstemming

Variabele A Variabele AOvereen-stemming

Codeur 1 ja Codeur 2 ja 1

Codeur 1 ja Codeur 2 nee 0

Codeur 1 nee Codeur 2 ja 0

Codeur 1 nee Codeur 2 nee 1

Overeenstemming






50%

Overeenstemming






50%

Twee ongetrainde apen komen ook tot 50% overeenstemming

Overeenstemming

Wie is in beeld? Codeur 1

Bekende Nederlander

Onbekende Nederlander Buitenlander Niemand

59 23 14 4

C o d e u r !2

Bekende Nederlander 60 55 3 1 1

Onbekende Nederlander 20 1 18 1 0

Buitenlander 13 1 2 10 0

Niemand 7 2 0 2 3

In deze tabel is de overeenstemming 0,86

!= !

(55 + 18 + 10 + 3)/100

Opdracht #1

• Geef de overeenstemming weer tussen twee variabelen.

• De docent vertelt tijdens de bijeenkomst welke variabelen je kunt gebruiken

• Maak hiervoor een kruistabel waarbij je de bewuste variabelen in de eerste en de tweede codering tegenover elkaar zet.Je percenteert per cel (total).

Corrigeren voor toeval


Bekende Nederlander


59 23 14 4

C o d e u r !2




Niemand 7 2 0 2 3

Overeenstemming = 0,86 !

Correctie met Cohen’s kappa: 0,75 !

Relatief groot verschil omdat data niet evenredig verdeeld zijn:

‘bekende Nederlander komt heel vaak voor.

!Kans dat je ‘goed zit’ met bekende Nederlander is groot dus codeur kan denken: “Ach, het zal wel een

bekende Nederlander zijn” !

Daarvoor corrigeert Cohen’s kappa

Cohen’s Kappa

! = Pr ! − Pr!(!)1− Pr(!) !

waarbij: Pr(a) = de relatieve geobserveerde overeenstemming tussen de codeurs !(de wit gearceerde velden (= 86) / totaal aantal observaties (= 100)waarbij: Pr(e) = de relatieve verwachte overeenstemming tussen de codeurs, gebaseerd op de marginalen (zie volgende tabel)!

De Pe’s (Expected proportions/values)


Bekende Nederlander


59 23 14 4

C o d e u r !2




Niemand 7 4 2 1 0

35 = (60*59)/100

Cohen’s kappa

! = Pr ! − Pr!(!)1− Pr(!) !

! = 86− 411− 41

! = 4559

=

=

= 0,76

Corrigeren voor toeval


Bekende Nederlander


27 25 25 23

C o d e u r !2




Niemand 26 2 0 2 22

Overeenstemming = 0,86 !

Correctie met Cohen’s kappa: ?? !

Waarom is het verschil tussen overeenstemming en Cohen’s

kappa hier kleiner dan in de vorige tabel? !

tip: wat is de ‘expected proportion’?

Opdracht #2

• Bereken voor dezelfde variabelen als uit Opdracht #1 de kappa.

• Voeg aan de kruistabellen uit opdracht #1 de statistische maat ‘kappa’ toe.

Krippendorff’s Alpha

• Bij data op ordinaal of hoger meetniveau is Kappa minder geschikt:

• Niet-overeenstemming is niet altijd even fout. Als een codeur een individu op 29 schat en de ander op 31 is dat minder fout dan dat het verschil in schatting b.v. tien jaar is.

• Indien tabel niet-symmetrisch is, is kappa niet te berekenen. Krippendorff’s Alpha lost dit op

• Tabel is niet-symmetrisch indien een van de twee codeurs een bepaalde waarde nooit heeft gecodeerd

Opdracht #3

• Bereken de betrouwbaarheidsgegevens voor alle variabelen die jij voor je onderzoeksproject gebruikt.

• Hiervoor is een macro ontwikkelt waarover uitleg volgt tijdens de werkgroep.

• Schrijf de resultaten die je krijgt in het opdrachtformulier.

Gebruik Krippendorff’s Alpha• Eerst moet je eenmalig op je computer

een spss-syntax draaien. Die staat in Bb

• Daarna maak je een nieuwe syntax met voor iedere variabele de volgende regel:

• Kalpha judges = GeslachtA GeslachtB/level=1/detail = 1/ boot = 100.

• Geslacht is een voorbeeld van een variabele

• GeslachtA is de score van de ene codeur, GeslachtA van de tweede.

• level = 1 is voor nominale data. Gebruik je ordinale data dan verander je dat in level = 2. Voor intervaldata gebruik je level = 3, en voor ratiovariabelen level = 4.

Inter codeurbetrouwbaarheid

Documents

Transcript of Inter codeurbetrouwbaarheid