26 - InformatieProfessional | 03 / 2006

NIEUWE GENERATIE ZOEKMACHINES

Een nieuwe generatie zoekmachines is in ontwikkeling omde steeds meer eisende consument tevreden te stellen.Tekst- en beeldanalyse worden gecombineerd tot een hybri-de zoeksysteem. De menselijke cognitie dient als voorbeeld.Naadloze aansluiting op het denken van de individuelegebruikers is het doel. Maar de praktijk blijkt weerbarstig.

**************************************************************************************************************************

**************************************************************************************************************************

De digitale informatiestroom blijft toene-men, in het bijzonder de stroom vanbeeld en video. Voorbeelden zijn privé-fotocollecties, medische opnames (bij-voorbeeld CT- en MRI-scans), professio-nele collecties (bijvoorbeeld tv-opnamenzoals van het Nederlands Instituut voorBeeld en Geluid, bibliotheken en musea)en internet als belangrijk vehikel. Hoeweler al grote hoeveelheden annotatiesbeschikbaar zijn, maakt de arbeid dienodig is voor het annoteren in het alge-meen het op die manier ontsluiten vandeze collecties te duur en daarmee op lan-gere termijn onhaalbaar. Als alternatiefworden, indien mogelijk, technieken voorbeeldanalyse toegepast. Zelden gaan beide methodes voor hetontsluiten van collecties samen in éénsysteem. Gebeurt dat wel, dan kan dat dezoekmogelijkheden aanzienlijk vergroten.Datzelfde effect kan worden bereikt metintuïtief zoeken. Tegenwoordig zijn degebruikers van zoeksystemen in meerder-heid geen professionals meer maar‘leken’; juist voor hen zijn intuïtieveresultaten van belang, iets waar het metmoderne beeldverwerkingtechnieken nogwel aan schort [1,2].Terwijl tekstgebaseerd zoeken niet meeris weg te denken van het huidige internet,

zijn op beeld gebaseerde zoektechniekennog relatief onbekend bij het grotepubliek. In het hierna volgende zal dezenieuwe vorm van zoeken daarom eerstworden geïntroduceerd. Daarna wordteen alternatief geschetst voor de bestaan-de systemen die gedreven zijn door tech-nische hoogstandjes: een alternatief datuitgaat van de gebruiker van het systeem.Tenslotte passeren enkele toepassingende revu.

BeeldanalyseDigitaal beeldmateriaal bestaat uitpixels. De kleur van pixels wordtbepaald door het additief mixen vanrood, groen en blauw licht. Daarnaastkunnen pixels worden beschreven aan dehand van hun intensiteit: hoe donker oflicht ze zijn, ongeacht de kleur. Traditio-neel werd beeld- en videomateriaal veel-al geanalyseerd door middel van intensi-teitanalyses [1,2,3]. De laatste jarenwordt kleur echter ook steeds vakergeanalyseerd; dit onder invloed van ener-zijds het toenemende gebruik ervan(denk aan de tv en foto’s) en anderzijdsde enorme toename van de rekenkrachtvan de pc’s [1].Zowel een mens als een computer kan

miljoenen (nuances van) kleuren onder-scheiden. Voor beeldanalyse wordt hetaantal kleuren echter veelal gereduceerdzodat er niet onnodig precies wordtgezocht en het beeldmateriaal snellergeanalyseerd kan worden. Zo wordenverschillende nuances van rood allemaalals een rood geclassificeerd. Dit proceswordt kleurkwantisatie genoemd. Vervol-gens kan een beeld worden beschrevendoor middel van een kleurhistogram, dateen globale beschrijving van het beeldgeeft op basis van haar kleuren.Daarnaast kan op lokaal niveau binnenhet beeld naar patronen (textuur) wordengezocht. Zo kunnen er korrelpatronen ofstrepen uit worden gehaald die bijvoor-beeld een zebra, zebrapad of zandbeschrijven. Op basis van de kleuren enpatronen kunnen tevens gebieden in hetbeeld worden geïdentificeerd die eencoherente kleur en textuur hebben. Eendergelijk gebied vormt meestal eenbepaald object. Door de grenzen te bepa-len tussen de gebieden kan de vorm vande objecten worden bepaald. Kenmerkenvan deze vormen kunnen wordengebruikt om naar gelijkvormige objectente zoeken. Zo kan er dus ook op objectenworden gezocht binnen beeldmateriaal[1,2,4].

Tekst- en beeldanalyse in één zoekmachine met menselijke trekjes

Egon L. van den Broek*************************************************************************************************************************

IP03 26 31 vdbroek.qxd 19-02-2006 21:42 Pagina 26

03 / 2006 | InformatieProfessional - 27

Hybride systemenHet zoeken naar beeldmateriaal op basisvan de eigenschappen van dat beeld(kleur, textuur en vorm) wordt ook welContent-Based Image Retrieval (CBIR)genoemd. Het gaat dan dus om de inhoudvan het beeld en niet om de begeleidendetekst. Google, Yahoo-search, AltaVista enMSN-search bieden ook de mogelijkheidom op beeldmateriaal te zoeken. Ditgebeurt dan echter op basis van de tekstom de beelden heen en op basis van denaam die het beeldbestand heeft gekregen. Als het beeldmateriaal goed geannoteerdis, werkt deze aanpak goed. Het makenvan dergelijke annotaties vraagt echterzowel tijd als expertise omtrent deinhoud van het beeldmateriaal. Door detoename aan beeld- en videomateriaal ishet ondoenlijk al het beschikbare materi-aal handmatig te annoteren. Dit geldtzowel voor het internet in zijn geheel alsvoor archieven, zoals die van Beeld enGeluid maar ook bijvoorbeeld die vanziekenhuizen.Niet alleen voor grote collecties is deannotatie van beeldmateriaal noodzake-lijk voor het terugvinden ervan; ookprivé-collecties van bijvoorbeeld foto’s envideo’s worden snel zo groot dat hetannoteren ervan noodzakelijk is. Voor

het digitale tijdperk werden foto’s netjesin fotoalbums gedaan, vergezeld door eenenkele regel tekst. Met de opkomst vande digitale foto- en videocamera zijn ertwee problemen ontstaan. De hoeveelheidbeeldmateriaal is drastisch toegenomenen tegelijkertijd is het annoteren ervanafgenomen. In de loop der jaren ontstaater zo een vergaarput aan beeld- en video-materiaal die steeds moeilijker doorzoek-baar is. Dus ook voor de privé-foto- en -videocollecties zijn CBIR-techniekenzeer relevant.Voor de gebruiker is het niet zozeer debeschrijving van de informatie maar veel-eer de informatie zelf, in dit geval beeld-en/of videomateriaal, waarin hij geïnte-resseerd is. De integratie van op tekst enop beeld gebaseerd zoeken zou dan ookeen natuurlijke evolutie zijn van zowelzoeksystemen op internet, binnen archie-ven als lokaal op een pc. Zulke zoge-naamde hybride systemen kunnen dezoekvraag van de gebruiker, gedefinieerdin een bepaalde modaliteit (tekst en/ofbeeld), beantwoorden in de gewenstemodaliteit op basis van multi-modaal (inieder geval tekst en beeld) zoeken. Echterhoe nu dit zoekproces, liggend tussen devraag en het antwoord, zo te doen dat degebruiker het antwoord als natuurlijk oflogisch ervaart?

‘Er ontstaat een vergaarput aan beeld- en video-materiaal die steeds moeilijker doorzoekbaar is’

background histogram

marker histogram

object histogram

Met behulp van verschillen in kleur en textuur kan eenobject los worden gemaakt van de achtergrond. Eerst

wordt de grove vorm getraceerd, dan wordt langs de randpreciezer gekeken wat wel en niet bij het object hoort. Dehistogrammen geven de verdeling van de elf basiskleuren

van het object, van de achtergrond en op het grensvlak

IP03 26 31 vdbroek.qxd 19-02-2006 21:42 Pagina 27

28 - InformatieProfessional | 03 / 2006

‘De zoekmachine dient bij voorkeurbeelden hetzelfde te beoordelen als zijn gebruiker’

Menselijke perceptie als voorbeeldOf de zoekvraag nu de vorm heeft vantekst of van een voorbeeldfoto, en of zenu betrekking heeft op kleur, textuuren/of vormeigenschappen, de zoekmachi-ne dient bij voorkeur beelden hetzelfde tebeoordelen als zijn gebruiker. Hierbij zijntwee benaderingen mogelijk:> Het gaat uitsluitend om het resultaat.

Hoe de zoekmachine tot zijn oordeelkomt doet niet ter zake, zolang hetmaar in overeenstemming is met hetoordeel van zijn gebruiker.

> Er wordt van uitgegaan dat de enigemanier om tot een goed resultaat tekomen is om de gebruiker te begrijpen,minimaal op een functioneel niveau.Daarmee kan naast goede zoekresulta-ten ook worden verwacht dat er geleerdkan worden over hoe mensen beeldma-teriaal beoordelen en zo kunnen syste-men ook beter op de specifieke wensenvan hun gebruiker aangepast worden(door middel van zogenaamde ‘relevan-ce feedback’).

Het NWO ToKeN-project Eidetic had hettweede uitgangspunt en combineerde opgrond daarvan kennis en kunde afkom-stig uit Informatica, Artificiële Intelligen-tie en Cognitiewetenschap. Omdat eenvan de doelstellingen van het project deontwikkeling van een CBIR-systeem was,

werd voor een pragmatische aanpakgekozen. Als een algoritme een taak veelefficiënter kan uitvoeren dan een op demens gebaseerd functioneel model, danzou de eerste de voorkeur hebben, omdateen CBIR-systeem bij voorkeur real-timezou moeten werken. Echter een dergelijkalgoritme is veelal moeilijker aan te pas-sen aan specifieke gebruikerskarakte-ristieken dan een functioneel model vande gemiddelde gebruiker. Bovendien ver-werken mensen alle mogelijke informatieongelooflijk snel. Indien dergelijke princi-pes toegepast zouden kunnen wordenvoor zoeksystemen op computers, danzouden deze ook veel sneller moeten kun-nen werken.

Elf kleurcategorieënEen concreet voorbeeld van hoe principesvan menselijke waarneming en geheugenovergebracht kunnen worden naar com-puterprogramma’s is het principe van 11kleurcategorieën [1], zoals uitgewerktdoor Van den Broek en anderen. Dezeonderzoekslijn begon bij een literatuur-onderzoek waaruit bleek dat uit verschil-lende stromingen van de wetenschap,waaronder taalkunde, psychologie en cul-turele antropologie, evidentie was voorhet bestaan van 11 kleurcategorieën diewij gebruiken bij het onthouden en her-kennen van en het spreken over kleuren.

De verscheidenheid van natuurlijke texturen geïllustreerd; waar de mens geen enkel probleem heeft hen te onderscheiden is dit voor de computer een crime

IP03 26 31 vdbroek.qxd 19-02-2006 21:42 Pagina 28

03 / 2006 | InformatieProfessional - 29

NIEUWE GENERATIE ZOEKMACHINES**************************************************************************************************************************

Deze theorie is gevalideerd voor eeninternetsetting door psychofysiologischeexperimenten waarin mensen honderdenkleuren dienden te categoriseren. De uit-komsten zijn gebruikt om de zoekmachi-ne te ‘leren’ ook deze categorieën tegebruiken. Zo werd het mogelijk om netals de mens een algemeen bruikbare,grove indeling van kleuren te maken enmet behulp hiervan beeldmateriaal tebeoordelen. Op basis van deze indelingkan de globale kleuranalyse plaatsvindenmaar ook de textuuranalyse en daar- mee de objectidentificatie en vormextrac-tie. Dit alles gebeurt zo computationeel efficiënt én resulteert in intuïtieve resul-taten [1,4].

Zoekmachine op maatEen 11-kleurcategorieën CBIR-methodemaakt gebruik van een menselijke eigen-schap. Mensen verschillen echter onder-ling enorm in hun waarneming. Idealiterdient de 11-kleurcategorieënmethode danook op maat gemaakt te worden vooriedere individuele gebruiker. Behalve ophet gebied van hun waarneming verschil-len mensen ook in hun vraag naar en ver-werking van informatie. Bovendien zijnmensen niet constant in hun informatie-behoeftes. Zo kan een gebruiker bij zijnzoekvraag een zeer specifiek idee in zijnhoofd hebben, of juist een vraag stellen

naar aanleiding van een bredere interesse. Zoeksystemen die hun gebruikers opmaat bedienen, moeten beschikken overeen profiel van hun gebruiker. Binnen eendergelijk profiel zouden, naast een 11-kleurcategorieënprofiel, interessegebie-den geïdentificeerd moeten zijn. Ook zouhet niveau van kennis van de gebruikerop zijn interessegebieden opgeslagen die-nen te zijn. Dit om te voorkomen dat dezoekmachine de gebruiker te gedetailleer-de of juist te weinig specifieke informatiepresenteert. Vanzelfsprekend dient eenthesaurus en een ontologie of semantischnetwerk aan een geavanceerde zoekma-chine gekoppeld te zijn. Bovendien moetde zoekmachine kunnen redeneren opbasis van al deze informatie om zo zijnzoekstrategie en communicatie aan tekunnen passen.

Zoekagent afgestemd op persoonlijkheid Een ander complex concept waar in detoekomst zeker rekening mee gehoudenmoet worden is de persoonlijkheid van degebruiker: is deze bijvoorbeeld geduldigof juist niet en maakt hij of zij veelal asso-ciatieve relaties of niet. Daarnaast is deemotionele toestand op het moment vanzoeken van belang, omdat de communi-catie tussen gebruiker en zoekmachinehierop aangepast dient te worden.

Systemen die voldoen aan een dergelijkpalet van eigenschappen worden veelalaangeduid als agents. Onder dat begripwordt meestal een artificiële entiteit ver-staan, bijvoorbeeld een robot of een‘intelligent’ computerprogramma, datkan worden beschouwd als zijn omgevingwaarnemend door sensoren en dat rea-geert op die omgeving door middel vaneffectoren. Het geschetste zoeksysteemzou daarom wellicht beter als ‘zoekagent’aangeduid kunnen worden.Nu is de vraag: hoe een zoekagent dehierboven geschetste eigenschappen tegeven? Om dit te bewerkstelligen zou eencompleet model van menselijke cognitienodig zijn, dat relaties tussen visuele entekstuele informatieverwerking herbergtalsmede psychologische facetten (per-soonlijkheid en emoties) van de gebrui-ker. De zoekagent zou naadloos moetenaansluiten op zijn gebruiker en zich daar-om continu aan hem moeten aanpassen –of juist niet indien de gebruiker foutenzou maken. De zoekagent dient te kun-nen redeneren en te associëren. Naasteen model van cognitie dient de zoek-agent eveneens te kunnen leren op basisvan zijn ervaringen met de reacties vande gebruiker op de zoekresultaten. Hetdient zijn regels aan te passen, hetgebruikersprofiel, en de ontologie of hetsemantische netwerk waarmee het ver-bonden is.

**************************************************************************************************************************

0

100

200

300

400

500

600

0 100 200 300 400 500 600 700 800 900

Stapels van gelijkende texturen ofwel plaatjes met bepaalde patronen, zoals ze worden samengesteld door mensen en zoals ze gezien worden door de computer(Met dank aan Thijs Kok)

Beeldherkenning door mens en computer

IP03 26 31 vdbroek.qxd 19-02-2006 21:42 Pagina 29

03 / 2006 | InformatieProfessional - 31

NIEUWE GENERATIE ZOEKMACHINES**************************************************************************************************************************

**************************************************************************************************************************

Onderzoek in kinderschoenenEen zoekmachine op maat, zoals zo-evengeschetst, is nog niet beschikbaar. Welwordt er aan alle hierboven genoemdefacetten gewerkt. Het NWO Eidetic-pro-ject illustreert de inspanningen die over-heidsinstanties leveren om de wetenschapen gebruikersgroepen zoals de kunst-wereld – in dit geval het Rijksmuseum –dichter bij elkaar te brengen, waarvoorhet online M4ART (Multimedia for ArtReTrieval) prototype-systeem is ontwik-keld [3,8]. Maar ook onderzoeksafdelin-gen van bedrijven als IBM [5] en Micro-soft [6] investeren in deze technologie vande toekomst. Ruim tien jaar geleden ont-wikkelde IBM het online Query ByImage Content (QBIC) systeem voor hetHermitage museum.Maar ook kleinere bedrijven zoals Para-BotS [2,7] en VicarVision [2] werken aanintelligente robots die bijvoorbeeld riole-ringen inspecteren via camera’s, zodat zijscheuren of andere zwakke plekken inons stelsel van rioleringen kunnen analy-seren. Daarnaast er is bijvoorbeeld eenintelligent pornografiefilter ontwikkeldvoor scholen, dat door te ‘kijken’ naarbeelden op internetpagina’s beslist of hetpornografie betreft of zonnende jongerenop vakantie.Ondanks al deze investeringen staat hetonderzoek naar beeldanalyse nog in dekinderschoenen. Het grootste probleem isde kloof tussen de perceptuele kenmerken(kleur, textuur en vorm) en de semanti-sche waarde van beeldmateriaal [1,5,9].Het is een proces waar wij ons niet vanbewust zijn maar dat daarentegen, net alsalles, wel expliciet dient te worden gere-presenteerd voor de computer [9]. Daar-naast speelt onze persoonlijke belevingeen enorm grote rol. Omdat echter eenzoeksysteem de waarde die het hecht aanbepaalde eigenschappen van het beeldkan aanpassen, kan het zo toegroeiennaar zijn gebruiker als het leert van dewaardering die de gebruiker heeft voor degevonden resultaten.

Ambivalent gevoelAl met al is een ambivalent gevoel tenaanzien van de nieuwe generatie zoekma-chines op zijn plaats. Enerzijds ontwikke-len de technieken zich snel en wordt er

steeds meer in geïnvesteerd. Anderzijds iseen aantal fundamentele problemen nogniet opgelost en werken de huidige syste-men niet buiten de collectie waarvoor zezijn ontwikkeld. De user-centered trendbinnen het onderzoek naar deze nieuwegeneratie zoekmachines biedt echter veelperspectief, hetgeen al tot uiting is geko-men in de eerste veelbelovende resultaten,zoals bijvoorbeeld behaald binnen hetNWO Eidetic-project. <

Egon L. van den Broek is universitair docent

Mens-machine interactie aan de Faculteit der

Gedragswetenschappen, Universiteit Twente

en bezoekend universitair docent aan het Nij-

megen Instituut voor Cognitie en Informatie

(NICI), Radboud Universiteit Nijmegen.

Literatuur1] Broek, E.L. van den: Human-Centered Content-Based Image

Retrieval. PhD thesis, Nijmegen Institute for Cognition and

Information, Radboud University Nijmegen (Online available:

eidetic.ai.ru.nl/egon/PhD-Thesis/).

2] Israël, M., van den Broek, E.L., van der Putten, P., den Uyl,

M.J.: Visual Alphabets: Video Classification by End Users. In

V. A. Petrushin and L. Khan (Eds.) Multimedia Data mining

and Knowledge Discovery, chapter 10 (Part III). Springer-Ver-

lag: Berlin – Heidelberg. [in press].

3] Broek, E.L. van den, Kok, T., Schouten, Th.E., Hoenkamp, E.:

Multimedia for Art ReTrieval (M4ART). Proceedings of SPIE

(Multimedia Content Analysis, Management, and Retrieval)

6073 (2006), 60730Z.

4] Broek, E.L. van den, van Rikxoort, E.M., Schouten, Th.E.:

Human-centered object-based image retrieval. Lecture

Notes in Computer Science (Advances in Pattern Recogni-

tion) 3687 (2005) 492-501.

5] IBM Research: MARVEL: MPEG-7 Multimedia Search

Engine. URL: www.research.ibm.com/marvel/ [Last

accessed on February 15, 2006].

6] Microsoft Research: Adaptive systems and interaction. URL:

research.microsoft.com/ [Last accessed on February 15, 2006].

7] ParaBotS bv: Page Rating Bot Services (ParaBotS). URL:

www.ParaBotS.nl/ [Last accessed on February 15, 2006].

8] Broek, E.L. van den, Kok, T.: Multimedia for Art ReTrieval

(M4ART). URL: cai.nici.ru.nl/M4ART/ [Last accessed on

February 15, 2006].

9] Broek, E.L. van den, van Rikxoort, E.M., Kok, T., Schouten,

Th.E.: M-HinTS: Mimicking Humans in Texture Sorting. Pro-

ceedings of SPIE (Human Vision and Electronic Imaging XI)

6057 (2006) [in press].

Segmentatie van beeld door de computer is het vakje na vakje vergelijken van het beeld: een wereld van verschil tussen mens en machine

(Met dank aan Eva van Rikxoort)

IP03 26 31 vdbroek.qxd 19-02-2006 21:42 Pagina 31