Opsporen van videokopieën met behulp van visuele vingerafdrukken en schuivende zoekvensters

ELIS – Multimedia Lab

Opsporen van Videokopieën met behulp vanVisuele Vingerafdrukken en Schuivende Zoekvensters

Universiteit Gent – iMindsFaculteit Ingenieurswetenschappen en Architectuur

Vakgroep Elektronica en Informatiesystemen

Wesley De Neve

2/20


• Basisprincipes

• Systeem voor detectie van videokopieën

• YouTube Content ID

Inhoud

2/15

3/20


• Basisprincipes



Inhoud

3/15

4/20


Populariteit Online Video (1/2)

• Toenemende consumptie van online video– dankzij gebruiksvriendelijke toestellen en netwerkdiensten– dankzij goedkope opslag en bandbreedte– dankzij meer en meer mensen die zich online begeven

• Toenemende beschikbaarheid van online video– dankzij de digitalisatie van professionele videoarchieven– dankzij de populariteit van zelf aangemaakte video-inhoud

4/15

5/20


• Enkele statistieken

– professionele video-inhoud• BBC Motion Gallery (sinds januari 2009)

o bevat meer dan 2,5 miljoen uur aan videoo sommige video’s gaan tot 60 jaar terug in de tijd

– zelf aangemaakte video-inhoud• YouTube (sinds mei 2011)

o elke maand bekijken gebruikers meer dan 4 miljard uur aan video

o elke minuut plaatsen gebruikers meer dan 72 uur aan video op de website

Populariteit Online Video (2/2)

5/15

6/20


• De populariteit van online video brengt een aantal uitdagingen met zich mee

• Nood aan technieken voor het opsporen van videokopieën

Uitdagingen Online Video

redundantie in zoekresultateninbreuken op intellectuele eigendom

6/15

7/20


• Duplicaten– exacte videokopieën– detectie via klassieke hash-functies (bv. MD5)

• Bijna-duplicaten– videokopieën die het resultaat zijn van een transformatie– detectie is een uitdaging

Definitie Videokopie

origineelvideofragment

zwart & wit bijsnijden spiegeling

transformatie

7/15

8/20


• Basisprincipes



Inhoud

8/15

9/20


Systeem voor Detectie van Videokopieën

nieuw videofragment

geen kopie kopie

≈

zoekprocesdatabank met referentie- videofragmenten

via visuelevingerafdrukken &

een schuivend venster

9/15

10/20


• Beogen de unieke identificatie van de inhoud van een videofragment

• Karakteriseren visuele kenmerken– kleurinformatie– textuurinformatie – vorminformatie– bewegingsinformatie

• Zijn laagdimensionale vectoren die de hoogdimensionale video-inhoud samenvatten – laat meer efficient zoeken toe

Visuele Vingerafdrukken (1/2)

10/15

11/20


• Worden typisch geëxtraheerd uit sleutelbeelden die afkomstig zijn uit videoshots


videoshot 1 videoshot 2

...

kleurenhistogram 1 (64-D)

extractie

...

kleurenhistogram 2 (64-D)

extractie

11/15

12/20


• Worden typisch geëxtraheerd uit sleutelbeelden die afkomstig zijn uit videoshots


visuele vingerafdruk (128-D)

extractie

... ...

11/15

13/20


Zoeken via Visuele Vingerafdrukken &een Schuivend Venster

referentie-videofragment

nieuwvideofragment

d1

• di : Euclidische afstand tussen– de visuele vingerafdruk van het nieuw videofragment– de visuele vingerafdruk van dat deel van het referentievideofragment

dat tot het schuivend venster behoort

d1 > ξkopie geen kopie

12/15

14/20




nieuwvideofragment

d2




12/15

15/20




nieuwvideofragment

d3



d3 < ξkopie kopie

12/15

16/20




nieuwvideofragment

d4




12/15

17/20




nieuwvideofragment

d5




12/15

18/20


• Basisprincipes



Inhoud

13/15

19/20


• Bedrijfseigen systeem voor het identificeren en beheren van auteursrechtelijk beschermde inhoud– analyseert elke dag meer dan 100 jaar aan video– heeft tot nu toe al meer dan 120 miljoen videokopieën teruggevonden

• Werking– bestaat uit twee onderdelen: Audio ID & Video ID– zoekt naar overeenkomsten tussen

o ID-bestanden (vingerafdrukken) in een referentiebibliotheeko ID-bestanden (vingerafdrukken) die behoren tot nieuwe

videofragmenten

YouTube Content ID (1/2)

14/15

20/20


• Beleid– het aantal onterechte detecties wordt geminimaliseerd

o teneinde onterechte blokkering van inhoud te vermijden– bij het vinden van terechte videokopieën worden de voorkeuren van

de rechteneigenaren toegepasto inkomsten genereren (via advertenties)o weergavestatistieken bijhoudeno inhoud blokkeren

YouTube Content ID (2/2)

15/15

Opsporen van videokopieën met behulp van visuele vingerafdrukken en schuivende zoekvensters

Technology

Transcript of Opsporen van videokopieën met behulp van visuele vingerafdrukken en schuivende zoekvensters