Metareporter: CoderenWeek 2: Anne Helmond & Esther Weltevrede

Intercoder reliability

• Wat is een nieuwe media artikel?

• Hoe categoriseren we?

• Hoe taggen (coderen) we?

Wat is een nieuwe media artikel?

FAQ: Wat verstaan wij onder ‘nieuwe media’?

‘Nieuwe media’ is een complexe, veelzijdige term die daarom zeer lastig te definiëren is. De  betekenis van het ‘nieuwe’ in nieuwe media verschuift en is continu aan verandering onderhevig. Wat maakt een (communicatie-) medium nou eigenlijk tot nieuwe medium? Deze vraag kan nooit éénduidig beantwoord worden. Om die reden definiëren wij bij metareporter nieuwe media als zijnde media die gebruik maken van nieuwe, moderne, veelal digitale technologieën. Men kan daarbij denken aan kenmerken zoals manipulable, networkable, dense, compressable en impartial (Flew 2008, 3). Hieronder verstaan wij bijvoorbeeld: internet, games, databases, surveillance technologie, RFID, social networking sites.

Wat is een nieuwe media artikel?

Artikelen over nieuwe media zijn artikelen waar nieuwe media een actieve rol speelt. Wordt er een claim gemaakt over het object?

Categoriseren

• Aggregeren altijd met z’n tweeën: een hoofd-coder en mee-coder

• Journalist, Krant, Katern, In de pers.

• Let op: Voorpagina is een katern

• Let op: Artikelen die doorgaan op een andere pagina (2x invoeren)

Taggen

• top-down vs bottom-up coden (artikelen)

• categorieën top down/taggen bottom-up

• wij coden bottom-up (taggen)

• onze methode: explicit/copy-paste

When Does Ontological Classification Work Well?

Domain to be Organized

• Small corpus

• Formal categories

• Stable entities

• Restricted entities

• Clear edges

Participants

• Expert catalogers

• Authoritative source of judgment

• Coordinated users

• Expert users

When Does Ontological Classification NOT Work Well?

Domain to be Organized

• Large corpus

• No formal categories

• Unstable entities

• Unrestricted entities

• No clear edges

Participants

• Uncoordinated users

• Amateur users

• Naive catalogers

• No Authority

Metareporter: categorieën

Gebaseerd op de categorieën die kranten hanteren. Zij 'optimalizeren' de krant

Klassieke classificatie volgens Shirky:

    •    Small corpus √    •    Formal categories √    •    Stable entities √    •    Restricted entities √

Metareporter: categorieën

Gebaseerd op de categorieën die kranten hanteren. Zij 'optimalizeren' de krant

Klassieke classificatie volgens Shirky:

    •    Small corpus √    •    Formal categories √    •    Stable entities √    •    Restricted entities √

Metareporter: tags

    •    Small corpus √    •    Formal categories 

    •    Stable entities

    •    Restricted entities

    •    Clear edges

    •    Large corpus

    •    No formal categories √    •    Unstable entities √    •    Unrestricted entities √    •    No clear edges √

Intercoder reliability test

The joint-probability of agreement is probably the most simple and least robust measure. It is the number of times each rating (e.g. 1, 2, ... 5) is assigned by each rater divided by the total number of ratings. It assumes that the data are entirely nominal. It does not take into account that agreement may happen solely based on chance. Some question, though, whether there is a need to 'correct' for chance agreement; and suggest that, in any case, any such adjustment should be based on an explicit model of how chance and error affect raters' decisions.

Test deel 1

• Maak groepjes van twee (hoofd-coder en mee-coder)

• Haal alle artikelen uit de Metro van maandag

• Noteer alle artikelen

Formele eisen tags

• Expliciete, bottom-up variant. Het woordgebruik van de auteur overnemen. Zelfs spelfouten, die taggen we: symantic [sic]

• Inhoudelijke tags gebruiken die in relatie tot het nieuwe media object staan. Dit kunnen zelfstandige naamwoorden, werkwoorden, actoren (merken, personen) zijn, geen bijvoegelijke naamwoorden, tenzij betekenis wegvalt.

Test deel 2

• In hetzelfde groepje van twee, codeer artikel 1 uit de Metro

• (vergelijk)

• In hetzelfde groepje van twee, codeer artikel 2 uit de Metro

• (vergelijk) etc. - spreadsheet

Nu eigen krant

• Creëer coding groepjes van 2.

• Eigen kranten invoeren: categoriseren en taggen

Volgende week

• Lees de teksten over bloggen

• Post 24 uur voor aanvang van de werkgroep twee discussiepunten in het forum op BlackBoard voor de groepsdiscussie.

• 1 krantengroep verzamelt de punten en leidt de discussie

• Metareport voor AVV!

Metareport voor AVV!

• Voorwaarden, zie handleiding

• Blog posts worden altijd 24 uur voor aanvang van de werkgroep gepost, maar gescheduled voor publicatie op het blog volgens het volgende schema:

• WG 1 (do 12-15): Donderdag en vrijdag (tijdens/na de werkgroep)

• WG 2 (do 15-18): Zaterdag en maandag (na de werkgroep)

• WG 3 (woe 9-12): Dinsdag en woensdag (voor/tijdens de werkgroep)