Televisie-archief doorzoekbaar Zoeken in video

3
4 k 2013 k www.computeridee.nl 27 Beeld en Geluid M et Ctrl+F vindt u snel een bepaald woord in een tekstbestand. Met Google doorzoekt u zelfs het hele internet. Maar één bepaald televi- sie-fragment vinden, hoe pakt u dat aan? Natuurlijk, YouTube biedt een overvloed aan beeldmateriaal. Dankzij Uitzending Gemist kunt u hele televisie-uitzendingen terug- zien. Maar een echte video-zoek- machine bestaat nog niet. Zoekt u naar een bepaald fragment, dan vindt u misschien wel de juiste uitzending, maar dan nog zult u moeten doorspoelen naar de juiste minuut. Waarbij de kans groot is dat u het gezochte fragment alsnog over het hoofd ziet. Maar in die situatie komt lang- zaam verandering, aldus onderzoe- ker ‘Multimedia Retrieval’ Roeland Ordelman van de Universiteit Twente. Sinds 2008 onderzoekt hij samen met het Nederlands Instituut voor Beeld en Geluid hoe ons natio- nale televisie-archief beter door- zoekbaar kan worden gemaakt. Beeld en Geluid Het Instituut voor Beeld en Geluid werd in 1995 opgericht met de opdracht het nationale audiovisuele erfgoed te behouden en beschikbaar te stellen. De oudste Nederlandse televisie-uitzendingen dateren uit de jaren vijftig. Oud archiefmateri- aal wordt door het Instituut zorg- vuldig bewaard, waarbij luchtvoch- tigheid en temperatuur goed wor- den bewaakt. Daarnaast zijn de technische experts van het Instituut al voor de millenniumwisseling begonnen met het digitaliseren van de aanwezige films. Band voor band is omgezet naar enen en nullen, voordat de tand des tijds de foto- grafische emulsie kon vervagen. De archivarissen van Beeld en Geluid zijn daarnaast continu bezig om uitzendingen te beschrijven. Dat doen ze door trefwoorden toe te kennen en samenvattingen te maken. Maar die beknopte ‘meta- data’ bieden nog altijd niet de zoek- mogelijkheden die iedereen inmid- dels gewend is bij het doorzoeken van tekst. Stel dat u graag het Nu al video doorzoeken Op Openbeelden.nl kunt u zoeken in Polygoon-journaals. De collectie zal de komende jaren flink groeien, want wekelijks wordt nieuw archiefmateri- aal geüpload. Open Beelden is een initiatief van het Nederlands Insti- tuut voor Beeld en Geluid in samen- werking met Stichting Nederland Kennisland. Het archiefmateriaal dat hier beschikbaar is mag gratis worden hergebruikt door website- bezoekers. Op hmi.ewi.utwente.nl/choral/ radiooranje.html doorzoekt u de radio-toespraken die Koningin Wil- helmina tussen 1940 en 1945 hield vanuit Londen via Radio Oranje. Voer bijvoorbeeld als zoekterm ‘vrede’ in en druk op ‘Zoek’. Dan krijgt u een lijst met zeventien frag- menten uit radio-toespraken die Koningin Wilhelmina in die periode hield vanuit Londen en waarin zij het woord ‘vrede’ gebruikte. U kunt er naar luisteren door op het fragment te klikken. Tijdens het afspelen krijgt u historische foto’s te zien. Televisie-archief doorzoekbaar Zou het niet fantastisch zijn als u oude televisie-fragmenten zou kunnen terugvinden via een zoekmachine? Onderzoekers binnen het Instituut voor Beeld en Geluid gebruiken een keur aan technieken om dat mogelijk te maken. Zoeken in video

Transcript of Televisie-archief doorzoekbaar Zoeken in video

Page 1: Televisie-archief doorzoekbaar Zoeken in video

4 k 2013 k www.computeridee.nl 27

Beeld en Geluid

Met Ctrl+F vindt u snel een bepaald woord in een tekstbestand. Met Google doorzoekt u zelfs het hele

internet. Maar één bepaald televi-sie-fragment vinden, hoe pakt u dat aan? Natuurlijk, YouTube biedt een overvloed aan beeldmateriaal. Dankzij Uitzending Gemist kunt u hele televisie-uitzendingen terug-zien. Maar een echte video-zoek-machine bestaat nog niet. Zoekt u naar een bepaald fragment, dan vindt u misschien wel de juiste uitzending, maar dan nog zult u moeten doorspoelen naar de juiste minuut. Waarbij de kans groot is dat u het gezochte fragment alsnog over het hoofd ziet.

Maar in die situatie komt lang-zaam verandering, aldus onderzoe-ker ‘Multimedia Retrieval’ Roeland Ordelman van de Universiteit Twente. Sinds 2008 onderzoekt hij samen met het Nederlands Instituut voor Beeld en Geluid hoe ons natio-nale televisie-archief beter door-zoekbaar kan worden gemaakt.

Beeld en GeluidHet Instituut voor Beeld en Geluid werd in 1995 opgericht met de opdracht het nationale audiovisuele erfgoed te behouden en beschikbaar te stellen. De oudste Nederlandse televisie-uitzendingen dateren uit de jaren vijftig. Oud archiefmateri-aal wordt door het Instituut zorg-vuldig bewaard, waarbij luchtvoch-tigheid en temperatuur goed wor-den bewaakt. Daarnaast zijn de technische experts van het Instituut al voor de millenniumwisseling begonnen met het digitaliseren van de aanwezige films. Band voor band is omgezet naar enen en nullen, voordat de tand des tijds de foto-grafische emulsie kon vervagen.

De archivarissen van Beeld en Geluid zijn daarnaast continu bezig om uitzendingen te beschrijven. Dat doen ze door trefwoorden toe te kennen en samenvattingen te maken. Maar die beknopte ‘meta-data’ bieden nog altijd niet de zoek-mogelijkheden die iedereen inmid-dels gewend is bij het doorzoeken van tekst. Stel dat u graag het

Nu al video doorzoekenOp Openbeelden.nl kunt u zoeken in Polygoon-journaals. De collectie zal de komende jaren flink groeien, want wekelijks wordt nieuw archiefmateri-aal geüpload. Open Beelden is een initiatief van het Nederlands Insti-tuut voor Beeld en Geluid in samen-werking met Stichting Nederland Kennisland. Het archiefmateriaal dat hier beschikbaar is mag gratis worden hergebruikt door website-bezoekers.

Op hmi.ewi.utwente.nl/choral/radiooranje.html doorzoekt u de radio-toespraken die Koningin Wil-helmina tussen 1940 en 1945 hield vanuit Londen via Radio Oranje. Voer bijvoorbeeld als zoekterm ‘vrede’ in en druk op ‘Zoek’. Dan krijgt u een lijst met zeventien frag-menten uit radio-toespraken die Koningin Wilhelmina in die periode hield vanuit Londen en waarin zij het woord ‘vrede’ gebruikte. U kunt er naar luisteren door op het fragment te klikken. Tijdens het afspelen krijgt u historische foto’s te zien.

Televisie-archief doorzoekbaar

Zou het niet fantastisch zijn als u oude televisie-fragmenten zou kunnen terugvinden via een zoekmachine? Onderzoekers binnen het Instituut voor Beeld en Geluid gebruiken een keur aan technieken om dat mogelijk te maken.

Zoeken in video

Page 2: Televisie-archief doorzoekbaar Zoeken in video

28 www.computeridee.nl k 4 k 2013

Floris-fragment terug wilt kijken waar hij samen met Sindala het toverkruid alruin vindt. Dan zou het toch heerlijk zijn als u ‘alruin’ kon intikken in een video-zoekmachine? Het zou magisch zijn wanneer u vervolgens tien videofragmenten zou kunnen aanklikken waarin het woord ‘alruin’ wordt genoemd. Pre-cies aan dit soort functionaliteit werkt Ordelman samen met de onderzoeksafdeling binnen het Instituut voor Beeld en Geluid.

SpraakherkenningVoor het doorzoekbaar maken van video gebruikt het Instituut ver-schillende technieken. Eén daarvan is spraakherkenning. Spraakherken-ning? Dat is toch die software die langdurig wil wennen aan elke nieu-we spreker en zelfs daarna nog rare foutjes maakt? Hoe kan die techno-logie ons nationale televisie-archief dan doorzoekbaar maken?

“Foutloos is spraakherkenning inderdaad nog steeds niet,” zegt Ordelman. “Maar dat is in de prak-tijk een minder groot probleem dan je zou denken.” Om een bepaald video-fragment terug te kunnen vinden is het namelijk niet essenti-eel dat elk woordje correct wordt verstaan. “Het is helemaal niet erg als de computer ‘de’ of ‘het’ over het hoofd ziet. Als de software belang-rijke woorden maar verstaat, zoals namen en plaatsnamen. Zodat hij

niet ‘Amsterdam’ en ‘Rotterdam’ door elkaar haalt. Gelukkig zijn in de praktijk juist dat soort woorden voor spraakherkenningssoftware relatief gemakkelijk herkenbaar. Dat komt omdat ze meestal langer zijn. Daardoor zijn ze unieker en daarmee eenvoudiger te onder-scheiden.”

De spraakherkenningssoftware die Ordelman heeft ingevoerd bij het Instituut voor Beeld en Geluid herkent spraak in twee stappen. Eerst vertaalt de software klanken in woorden. Daarbij kan natuurlijk van alles mis gaan. Daarom is er een extra stapje ingebouwd: een taalmodel bekijkt welk woord de meest logische zin oplevert. Zo’n taalmodel is overigens niet bijster intelligent. Het begrijpt geen jota van de zinnen, maar weet wel met welke waarschijnlijkheid een bepaald woord volgt op een ander.

OnderzoeksprojectenSinds 2008 onderzoekt Roeland Ordelman samen met het Nederlands Instituut voor Beeld en Geluid hoe ons natio-nale televisie-archief beter doorzoekbaar kan worden gemaakt. Dat gebeurt in projecten gesponsord door de Nederlandse overheid (www.commit-nl.nl) en de Europese Unie (www.axes-project.eu). In dat Axes-project werken allerlei onderzoeksorganisaties en beheerders van audio-visuele archieven samen, waaronder bijvoorbeeld ook de BBC.

Page 3: Televisie-archief doorzoekbaar Zoeken in video

4 k 2013 k www.computeridee.nl 29

Beeld en Geluid

Roeland Ordelman• Onderzoeker Multimedia

Retrieval • Human Media Interaction,

Universiteit Twente• Programma Manager –

Afdeling Research & Develop-ment, Nederlands Instituut voor Beeld en Geluid

• Eigenaar – Cross Media Interac-tion (www.x-mi.nl)

Meehelpen om video doorzoekbaar te makenSpeel Woordentikkertje en maak zo het archief van Man bijt hond beter doorzoekbaar. Kies één van de video’s op woordentikkertje.manbijthond.nl. U wordt in een korte wachtrij gezet, zodat andere spelers met u mee kunnen spelen. Zodra het Man bijt hond-fragment begint, voert u zoveel mogelijk woorden in die beschrijven wat u ziet of hoort. Wanneer andere websitebezoekers hetzelfde woord invoeren, dan heeft u een match en verdient u daarmee punten.

Ordelman: “Wanneer iemand bij-voorbeeld een zin begint met de woorden ‘Ajax voetbalde’, is het minder waarschijnlijk dat het woord ‘gloed’ zal volgen dan ‘goed.’”

Toch blijkt niet elke televisie- uitzending geschikt voor ‘audio-indexering’. In het televisiearchief komen de meest uiteenlopende sprekers aan het woord. Ze hebben niet alleen verschillende stemmen en dialecten, maar spreken ook nog eens vanuit verschillende tijdper-ken. Omdat de spraakherkennings-software getraind is op moderne sprekers, zijn historische fragmen-ten vaak lastig te herkennen. Ordel-man: “Dat komt niet alleen doordat de uitspraak van woorden inmiddels ingrijpend is veranderd, maar ook door de woorden zelf. Het woordge-bruik van Koningin Wilhelmina in de uitzendingen van Radio Oranje is bijvoorbeeld volstrekt atypisch in vergelijking met modern taalge-bruik.” Toch slaagden Ordelman en collega’s van de Universiteit Twente er in om die toespraken doorzoek-baar te maken. Dat kwam omdat de toespraken uitgeschreven waren. De zoekmachine hoefde daardoor alleen nog maar te weten wanneer welk woord werd uitgesproken. Ordelman: “Het zogenaamde ‘op- lijnen’ van audio is een relatief eenvoudige taak voor een spraak-herkenner.” Zo wordt binnen het Instituut voor Beeld en Geluid ook dankbaar gebruik gemaakt van video’s die ondertiteld zijn. “Onder-titels zijn een perfecte manier om video doorzoekbaar te maken,” vertelt Ordelman. “Ze geven niet altijd letterlijk weer wat er gezegd is, maar juist wel de belangrijkste woorden. En die wil je juist weten in dit geval.”

CrowdsourcingDaarnaast experimenteert het Insti-tuut met andere technieken om video doorzoekbaar te maken. Een interessante mogelijkheid is bij-voorbeeld beeldanalyse. Daarbij leert een computer om beeldconcep-ten te herkennen in video. Het Insti-tuut werkt voor deze techniek onder meer samen met wetenschapper Cees Snoek van de Universiteit van Amsterdam. Ordelman: “Op basis van handmatig geselecteerde voor-beelden wordt beeldherkennings-software getraind om één soort beeldconcept te herkennen, zoals bijvoorbeeld auto’s, huizen of bomen.” Dit soort zoekmachines spreekt nog maar een beperkt ‘voca-

bulaire’. Om het aantal herkende beeldconcepten uit te breiden, maken onderzoekers creatief gebruik van door gebruikers gela-belde foto’s op fotowebsites zoals Flickr. Ordelman: “Het voordeel van fotowebsites is dat gebruikers vaak onderschriften meegeven aan hun foto’s. Op die manier kun je snel een mooie berg trainingsdata verzamelen. Wanneer je op zoek bent naar een beeldconcept in het Beeld en Geluid-archief dat het beeldherkenningsprogramma nog niet kent, kan het programma ‘on the fly’ (klaar terwijl u wacht) met behulp van Flickr foto’s een model trainen om het beeldconcept toch te kunnen vinden.”

Een andere manier om video te voorzien van ‘tags’ is het inzetten van mensen van vlees en bloed. Zo probeert het Instituut voor Beeld en Geluid in samenwerking met de makers van Man bijt Hond om de online ‘community’ die de website van het programma bezoekt via een spelletje uitzendingen te laten beschrijven. Wanneer website-bezoekers hetzelfde woord invoe-ren, verdienen ze daarmee punten. Tegelijkertijd worden via deze vorm van ‘crowdsourcing’ uitzendingen van Man bijt Hond beter doorzoek-baar.

YouTubeHet Instituut voor Beeld en Geluid is niet de enige organisatie die onderzoek doet naar het doorzoe-ken van beeld. Wat dacht u van Goo-gle? Al sinds 2006 biedt YouTube de mogelijkheid om Engelstalige video’s automatisch te laten onder-titelen. YouTube-fragmenten zijn nog niet met tekst doorzoekbaar, maar Google doet er alles aan om uploaders zoveel mogelijk video’s van tekst te laten voorzien. Zo kun-nen sinds 2012 Koreaanse en Japan-se video’s automatisch worden ondertiteld. Daar hebben de meeste Nederlandsers natuurlijk niet zo veel aan, al biedt YouTube gelukkig ook de mogelijkheid om ondertitels te vertalen naar onze moedertaal. En daarnaast kunt u als kanaal- eigenaar op YouTube zelf onderti-tels in het Nederlands toevoegen. Dat doet u via een teksbestand, dat YouTube automatisch kan koppelen aan het juiste moment. Ondertite-ling in YouTube is niet alleen prettig voor doven en slechthorenden. Video’s die ondertiteld zijn, zijn in principe natuurlijk ook doorzoek-baar. U moet dan ook niet verbaasd opkijken wanneer Google over een paar jaartjes aankondigt dat zijn zoekmachine voortaan ook video’s doorzoekt. Kunt u niet wachten tot dat moment? Lees dan het kadertje ‘Nu al video doorzoeken.’ Veel kijk-plezier! t

Tekst: Jolein de Rooij