Post on 21-Jun-2015
description
ELIS – Multimedia Lab
Opsporen van Videokopieën met behulp vanVisuele Vingerafdrukken en Schuivende Zoekvensters
Universiteit Gent – iMindsFaculteit Ingenieurswetenschappen en Architectuur
Vakgroep Elektronica en Informatiesystemen
Wesley De Neve
2/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
2/15
3/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
3/15
4/20
ELIS – Multimedia Lab
Populariteit Online Video (1/2)
• Toenemende consumptie van online video– dankzij gebruiksvriendelijke toestellen en netwerkdiensten– dankzij goedkope opslag en bandbreedte– dankzij meer en meer mensen die zich online begeven
• Toenemende beschikbaarheid van online video– dankzij de digitalisatie van professionele videoarchieven– dankzij de populariteit van zelf aangemaakte video-inhoud
4/15
5/20
ELIS – Multimedia Lab
• Enkele statistieken
– professionele video-inhoud• BBC Motion Gallery (sinds januari 2009)
o bevat meer dan 2,5 miljoen uur aan videoo sommige video’s gaan tot 60 jaar terug in de tijd
– zelf aangemaakte video-inhoud• YouTube (sinds mei 2011)
o elke maand bekijken gebruikers meer dan 4 miljard uur aan video
o elke minuut plaatsen gebruikers meer dan 72 uur aan video op de website
Populariteit Online Video (2/2)
5/15
6/20
ELIS – Multimedia Lab
• De populariteit van online video brengt een aantal uitdagingen met zich mee
• Nood aan technieken voor het opsporen van videokopieën
Uitdagingen Online Video
redundantie in zoekresultateninbreuken op intellectuele eigendom
6/15
7/20
ELIS – Multimedia Lab
• Duplicaten– exacte videokopieën– detectie via klassieke hash-functies (bv. MD5)
• Bijna-duplicaten– videokopieën die het resultaat zijn van een transformatie– detectie is een uitdaging
Definitie Videokopie
origineelvideofragment
zwart & wit bijsnijden spiegeling
transformatie
7/15
8/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
8/15
9/20
ELIS – Multimedia Lab
Systeem voor Detectie van Videokopieën
nieuw videofragment
geen kopie kopie
≈
zoekprocesdatabank met referentie- videofragmenten
via visuelevingerafdrukken &
een schuivend venster
9/15
10/20
ELIS – Multimedia Lab
• Beogen de unieke identificatie van de inhoud van een videofragment
• Karakteriseren visuele kenmerken– kleurinformatie– textuurinformatie – vorminformatie– bewegingsinformatie
• Zijn laagdimensionale vectoren die de hoogdimensionale video-inhoud samenvatten – laat meer efficient zoeken toe
Visuele Vingerafdrukken (1/2)
10/15
11/20
ELIS – Multimedia Lab
• Worden typisch geëxtraheerd uit sleutelbeelden die afkomstig zijn uit videoshots
Visuele Vingerafdrukken (2/2)
videoshot 1 videoshot 2
...
kleurenhistogram 1 (64-D)
extractie
...
kleurenhistogram 2 (64-D)
extractie
11/15
12/20
ELIS – Multimedia Lab
• Worden typisch geëxtraheerd uit sleutelbeelden die afkomstig zijn uit videoshots
Visuele Vingerafdrukken (2/2)
visuele vingerafdruk (128-D)
extractie
... ...
11/15
13/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &een Schuivend Venster
referentie-videofragment
nieuwvideofragment
d1
• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
d1 > ξkopie geen kopie
12/15
14/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &een Schuivend Venster
referentie-videofragment
nieuwvideofragment
d2
• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
d2 > ξkopie geen kopie
12/15
15/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &een Schuivend Venster
referentie-videofragment
nieuwvideofragment
d3
• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
d3 < ξkopie kopie
12/15
16/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &een Schuivend Venster
referentie-videofragment
nieuwvideofragment
d4
• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
d4 > ξkopie geen kopie
12/15
17/20
ELIS – Multimedia Lab
Zoeken via Visuele Vingerafdrukken &een Schuivend Venster
referentie-videofragment
nieuwvideofragment
d5
• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment
dat tot het schuivend venster behoort
d5 > ξkopie geen kopie
12/15
18/20
ELIS – Multimedia Lab
• Basisprincipes
• Systeem voor detectie van videokopieën
• YouTube Content ID
Inhoud
13/15
19/20
ELIS – Multimedia Lab
• Bedrijfseigen systeem voor het identificeren en beheren van auteursrechtelijk beschermde inhoud– analyseert elke dag meer dan 100 jaar aan video– heeft tot nu toe al meer dan 120 miljoen videokopieën teruggevonden
• Werking– bestaat uit twee onderdelen: Audio ID & Video ID– zoekt naar overeenkomsten tussen
o ID-bestanden (vingerafdrukken) in een referentiebibliotheeko ID-bestanden (vingerafdrukken) die behoren tot nieuwe
videofragmenten
YouTube Content ID (1/2)
14/15
20/20
ELIS – Multimedia Lab
• Beleid– het aantal onterechte detecties wordt geminimaliseerd
o teneinde onterechte blokkering van inhoud te vermijden– bij het vinden van terechte videokopieën worden de voorkeuren van
de rechteneigenaren toegepasto inkomsten genereren (via advertenties)o weergavestatistieken bijhoudeno inhoud blokkeren
YouTube Content ID (2/2)
15/15