Intercodeurbetrouwbaarheids-berekeningDe Achtergrond / De Opdrachten

Betrouwbaarheid

• Een andere onderzoeker komt met hetzelfde meetinstrument tot dezelfde resultaten

Verstoringen betrouwbaarheid• Enquête

• enquêteur luistert niet goed of interpreteert een antwoord

• Inhoudsanalyse

• Codeur interpreteert een actie, uitspraak of beweging binnen een ‘text’ op zijn of haar eigen manier

Betrouwbaarheids-analyse• Test van het meetinstrument

• Categorieënindeling

• Codeerinstructies

• Zijn twee codeurs op basis van het meetinstrument bij eenzelfde case tot eenzelfde categorisering gekomen?

Overeenstemming

Variabele A Variabele AOvereen-stemming

Codeur 1 ja Codeur 2 ja 1

Codeur 1 ja Codeur 2 nee 0

Codeur 1 nee Codeur 2 ja 0

Codeur 1 nee Codeur 2 nee 1

Overeenstemming

Variabele A Variabele AOvereen-stemming

Codeur 1 ja Codeur 2 ja 1

Codeur 1 ja Codeur 2 nee 0

Codeur 1 nee Codeur 2 ja 0

Codeur 1 nee Codeur 2 nee 1

50%

Overeenstemming

Variabele A Variabele AOvereen-stemming

Codeur 1 ja Codeur 2 ja 1

Codeur 1 ja Codeur 2 nee 0

Codeur 1 nee Codeur 2 ja 0

Codeur 1 nee Codeur 2 nee 1

50%

Twee ongetrainde apen komen ook tot 50% overeenstemming

Overeenstemming

Wie is in beeld? Codeur 1

Bekende Nederlander

Onbekende Nederlander Buitenlander Niemand

59 23 14 4

C o d e u r !2

Bekende Nederlander 60 55 3 1 1

Onbekende Nederlander 20 1 18 1 0

Buitenlander 13 1 2 10 0

Niemand 7 2 0 2 3

In deze tabel is de overeenstemming 0,86

!= !

(55 + 18 + 10 + 3)/100

Opdracht #1

• Geef de overeenstemming weer tussen twee variabelen.

• De docent vertelt tijdens de bijeenkomst welke variabelen je kunt gebruiken

• Maak hiervoor een kruistabel waarbij je de bewuste variabelen in de eerste en de tweede codering tegenover elkaar zet.Je percenteert per cel (total).

Corrigeren voor toeval

Wie is in beeld? Codeur 1

Bekende Nederlander

Onbekende Nederlander Buitenlander Niemand

59 23 14 4

C o d e u r !2

Bekende Nederlander 60 55 3 1 1

Onbekende Nederlander 20 1 18 1 0

Buitenlander 13 1 2 10 0

Niemand 7 2 0 2 3

Overeenstemming = 0,86 !

Correctie met Cohen’s kappa: 0,75 !

Relatief groot verschil omdat data niet evenredig verdeeld zijn:

‘bekende Nederlander komt heel vaak voor.

!Kans dat je ‘goed zit’ met bekende Nederlander is groot dus codeur kan denken: “Ach, het zal wel een

bekende Nederlander zijn” !

Daarvoor corrigeert Cohen’s kappa

Cohen’s Kappa

! = Pr ! − Pr!(!)1− Pr(!) !

waarbij: Pr(a) = de relatieve geobserveerde overeenstemming tussen de codeurs !(de wit gearceerde velden (= 86) / totaal aantal observaties (= 100)waarbij: Pr(e) = de relatieve verwachte overeenstemming tussen de codeurs, gebaseerd op de marginalen (zie volgende tabel)!

De Pe’s (Expected proportions/values)

Wie is in beeld? Codeur 1

Bekende Nederlander

Onbekende Nederlander Buitenlander Niemand

59 23 14 4

C o d e u r !2

Bekende Nederlander 60 35 14 8 2

Onbekende Nederlander 20 12 5 3 1

Buitenlander 13 8 3 1 0

Niemand 7 4 2 1 0

35 = (60*59)/100

Cohen’s kappa

! = Pr ! − Pr!(!)1− Pr(!) !

! = 86− 411− 41

! = 4559

=

=

= 0,76

Corrigeren voor toeval

Wie is in beeld? Codeur 1

Bekende Nederlander

Onbekende Nederlander Buitenlander Niemand

27 25 25 23

C o d e u r !2

Bekende Nederlander 28 23 3 1 1

Onbekende Nederlander 22 1 20 1 0

Buitenlander 24 1 2 21 0

Niemand 26 2 0 2 22

Overeenstemming = 0,86 !

Correctie met Cohen’s kappa: ?? !

Waarom is het verschil tussen overeenstemming en Cohen’s

kappa hier kleiner dan in de vorige tabel? !

tip: wat is de ‘expected proportion’?

Opdracht #2

• Bereken voor dezelfde variabelen als uit Opdracht #1 de kappa.

• Voeg aan de kruistabellen uit opdracht #1 de statistische maat ‘kappa’ toe.

Krippendorff’s Alpha

• Bij data op ordinaal of hoger meetniveau is Kappa minder geschikt:

• Niet-overeenstemming is niet altijd even fout. Als een codeur een individu op 29 schat en de ander op 31 is dat minder fout dan dat het verschil in schatting b.v. tien jaar is.

• Indien tabel niet-symmetrisch is, is kappa niet te berekenen. Krippendorff’s Alpha lost dit op

• Tabel is niet-symmetrisch indien een van de twee codeurs een bepaalde waarde nooit heeft gecodeerd

Opdracht #3

• Bereken de betrouwbaarheidsgegevens voor alle variabelen die jij voor je onderzoeksproject gebruikt.

• Hiervoor is een macro ontwikkelt waarover uitleg volgt tijdens de werkgroep.

• Schrijf de resultaten die je krijgt in het opdrachtformulier.