Video Tagging (ViTa)

Mettina Veenstra mettina.veenstra@telin.nlTelematica Instituut

DE conferentie

10 december 2008

Rotterdam

Topics

• Inleiding en onderzoeksvragen ViTa• Onderzoeksopzet• Resultaten• Conclusies• Kwaliteit tags versus kwaliteit content

ViTa: onderzoek naar social tagging van video’s

• Onderdeel van het MultimediaNonderzoeksprogramma

• Twee fasen: tagging fase en zoekfase• Video content: 115 korte videofragmenten uit de

Teleblikcollectie (cultuur), 60-150 seconden, door Beeld en Geluid voorzien van metadata (gericht op scholieren).

Onderzoeksvragen

• Hoe nuttig zijn tagsuggesties voor taggers? Assumptie: kiezen is makkelijker dan creatief zijn, dus: – Gebruikers zouden er sneller van kunnen worden– Ze zouden meer tags per video kunnen toevoegen

• Hoe nuttig zijn tags voor het vinden van relevanteresultaten: Hoe is de kwaliteit vergeleken met professionele tags en automatisch gegenereerdemetedata?

Onderzoeksopzet: Tagging fase

Lazy Tagger

Social Tagger

Basic Tagger

Metadata TagSuggestions

Social TagSuggestions

194 leerlingen, 3 experimentele condities, iedere persoonvoorziet 15 video’s van tags.

MultimediaN taggen

Onderzoeksopzet: Zoekfase

SmartSearcher

DocumentSearcher

BasicSocialSearcher

SocialSearcher

BasicSearcher

Smart tagsSmart MetadataUser TagsProfessionele

Metadata

153 leerlingen, 5 experimentele condities, 8 vragente beantwoorden.

Zoekcondities

basicsocialbasicsocialdocumentsmart

Resultaten in de tagging fase

Origin adopted tag suggestions

SocialTagger LazyTagger

Originating from metadata: 44% 57%- Keywords 16% 18%

- Derived from description 28% 39%

Originating from other taggers: 56% 43%

• Veel social tags overgenomen → kwaliteit (Socialtaggers hebben het laagste aantal unieke tags)

• Tags van de LazyTaggers beïnvloeden de SocialTagger, die zo dus indirect tags gebaseerd op metadata

• Taggers die suggesties ontvangen zijn niet sneller en en voegen ook niet meer tags toe dan anderen

• Ondanks de suggesties creëren Social- en Lazytaggersbeide veel tags zelf:• 57% overgenomen vs. 43% zelf gecreëerd (niet in

deze tabel)

Resultaten in de zoekfaseCorrectly answered

Answered

6.26.25.36.76.7

6.4Mean

4.8Smart+

5.0BasicSocial*+3.5Document

4.6Total

5.5Social*+

4.5Basic*MeanRole

* “answered”: verschil met DocumentSearcher is statistisch significant+ “correct”: difference with DocumentSearcher is statistisch significant

Trends:• De “Social” groepen – met tags – doen het het beste• Ze hebben ook het laagste aantal navigatiestappen nodig per

succesvol antwoord.• Document searchers doen het niet goed• Gebruikte zoektermen komen relatief vaak overeen met social tags

Conclusies

• Social tags beter dan professionele metadata?– In ieder geval niet slechter– De terminologie correspondeert meer met de

terminologie van de gebruikers– Vervuiling was geen probleem, maar geen

natuurlijke situatie• Hoeveelheden video/foto’s maken het overwegen van

social tagging urgent• Future research:

– Hoe motiveer je mensen om te taggen? – Hoe nuttig zijn tags voor profielen? The importance

of who tagged what.

• Uitkomst ViTa experiment: kwaliteit van Web 2.0 metadata is behoorlijk goed

• Kwaliteit van Web 2.0 content is een stuk onzekerder (eigenlijk algemeen webprobleem)

Oplossingsrichtingen:

• Mediawijsheid van de gebruiker zelf: – http://wwwlibrary.csustan.edu/lboyer/webeval/webeval.htm

(richtlijnen voor het evalueren van kwaliteit van webinformatie)– Kennisnet over mediawijsheid (ict-vaardigheden,

informatievaardigheden, veilig mediagebruik)

• Gebruiker handreikingen geven in zoekomgevingen:– Content zelf (laatste wijziging, spelfouten, soort pagina)– Context (gerelateerde documenten, personen en organisaties)

•

Kwaliteit van tags versus kwaliteit van content

Mettina Veenstra: mettina.veenstra@telin.nl