De ‘Database Aesthetics’ van Photosynth

Door: Karlijn Spoor Studentnummer: 3000893 Cursus: Get Real Docent: Ann-Sophie Lehmann

2

Inhoudsopgave Inleiding 3 De techniek achter Photosynth 5 Database aesthetics: Database versus Narratief 6 ‘Spatial montage’ als oplossing 10 De esthetische ervaring 13 Photosynth als culturele vorm 15 Conclusie 17 Literatuurlijst 19 Bijlage 21

3

Inleiding Stel je voor dat je plotseling voor de Notre Dame kunt staan of terug gaat in de tijd om de inauguratie van Obama bij te kunnen wonen. Recente ontwikkelingen op het gebied van computer vision hebben deze immersieve ervaring, dit gevoel van ‘being there’, een stuk dichterbij gebracht. Photosynth, een software programma van Microsoft Live Labs (dat sinds 20 november 2008 als commercieel product te downloaden is vanaf de website), maakt het voor de consument mogelijk om van veel foto’s, van hemzelf of bijvoorbeeld van de foto sharing site Flickr, een drie dimensionale virtuele ervaring te maken en die te delen met iedereen online. Onder andere CNN heeft hier al gebruik van gemaakt door een ‘synth’ te maken van de inauguratie van Obama.1 Volgens de website zorgt Photosynth dat “Anybody who sees your synth is put right in your shoes, sharing in your experience, with detail, clarity and scope impossible to achieve in conventional photos or videos (website van Photosynth).”2 Het doet dus de belofte van immersie, en een ervaring die niet van het echt te onderscheiden is.

Photosynth creëert een nieuw visueel model waardoor we kunnen zien hoe foto’s met elkaar in verhouding staan. Het is dan ook een voorbeeld van data visualisatie. Het onderzoeksveld van data visualisatie gaat er vanuit dat er in de huidige informatiemaatschappij, waarbij we soms overspoeld worden met data, nieuwe manieren nodig zijn om informatie op te slaan en te ordenen (Manovich, ‘The Shape of Information’). Data visualisatie brengt dan ook orde aan in ongestructureerde datasets door er een visueel model van te maken, dat ons toestaat om de structuur achter deze schijnbaar ongeordende en vaak abstracte data te zien en er betekenis uit te halen (Manovich, ‘Data Visualisatie’). Photosynth als vorm van data visualisatie geeft ons dan ook een nieuw inzicht: de relatie van foto’s in verhouding tot elkaar. Een onderzoeksgebied dat zich bezig houdt met die nieuwe manieren waarop er met data omgegaan wordt, is dat van ‘info-aesthetics’ of ‘database aesthetics’. Dit onderzoeksveld gaat er vanuit dat er nieuwe hedendaagse culturele praktijken zijn ontstaan als gevolg van de informatiemaatschappij en onderzoekt wat de nieuwe esthetische kenmerken zijn van deze digitale visuele cultuur. Het houdt zich dan ook bezig met het detecteren van ‘emerging aesthetics and cultural forms specific to a global information society (Manovich, ‘Information and Form’)’.

Photosynth is dan een goed voorbeeld om te onderzoeken hoe een nieuwe esthetiek of een nieuwe culturele vorm ontstaat wanneer er een visueel model gemaakt wordt uit een ongeordende database van foto’s. Ik zal dan ook aan de hand van Photosynth onderzoeken wat de esthetische kenmerken zijn. Ik onderzoek dus de ‘database aesthetics’ van deze specifieke casus.

De term ‘database aesthetics’ wordt door vele auteurs gebruikt om de esthetische principes te onderzoeken die toegepast worden bij de visualisatie van data, het filteren van informatie of de manier van categoriseren. Database aesthetics is dan ook niet alleen geïnteresseerd in de esthetische kenmerken van een database,

1 CNN heeft van de inauguratie van Obama een synth gemaakt door foto’s van aanwezigen in het publiek en van

de pers samen te voegen. Kijk op http://edition.cnn.com/SPECIALS/2009/44.president/inauguration/themoment 2 Kijk voor een voorproefje op www.photosynth.com

4

maar ook in hoe deze esthetiek begrepen kan worden als culturele vorm als gevolg van het veranderende medialandschap in het huidige informatie tijdperk. Christiane Pauls definitie maakt dit duidelijk: ‘(...) database aesthetics often becomes a conceptual potential and cultural form – a way of revieling (visual) patterns of knowledge, beliefs and social behavior (Paul 95).’

Een database in deze opvatting is dan niet slechts een manier om data te vinden en te categoriseren maar ook een cultureel construct, waarbij de vormgeving in grote mate bepaalt wat er zichtbaar wordt en hoe er door een gebruiker betekenis aan toe wordt gekend. Een database bevat dus culturele en historische conventies in zich en reflecteert zo grotere modellen van menselijk geconstrueerde realiteit. Ook Pauwels vindt dat de technologische, culturele en sociale context belangrijk zijn voor hoe iets eruit komt te zien en welk doel het zal dienen. Zo zegt hij: “ This complex process of meaning-making has an important impact on what and how it can be known, on what is revealed or obscured, and on what is included or excluded (Pauwels 6).”

Bij een onderzoek naar de esthetiek van een database is dan ook aandacht nodig voor het technische maakproces, de uiteindelijke esthetische kenmerken en welke culturele conventies die esthetiek weerspiegelt. Dit onderzoek is nodig omdat de database in de tegenwoordige samenleving in steeds grotere mate de interface naar cultuur vormt en bepaalt hoe wij informatie tot ons nemen. Begrip van de esthetiek, wat dat verhuld en wat het duidelijk maakt is daarom essentieel.

Onderzoek naar de esthetiek van een database blijft vaak steken in theoretische ideeën met soms een voorbeeld. Terwijl juist een focus op een casus duidelijker de esthetische kenmerken naar voren brengt en kan laten zien dat theoretische kaders en concepten wellicht aangepast of geherdefinieerd moeten worden. Het nieuwe medialandschap is immers altijd in beweging, en concepten die hen proberen te verklaren moeten mee blijven groeien.

In deze paper zal ik dan ook Photosynth onderzoeken als culturele en esthetische vorm. Door een discoursanalyse op het gebied van database esthetiek en data visualisatie zal ik antwoord proberen te geven op de vraag of ik Photosynth voldoende kan bevatten vanuit het onderzoeksveld van database aesthetics. Hierbij wil ik beargumenteren dat de termen hybriditeit en tegenstrijdigheid essentieel zijn om de database aesthetics van Photosynth te bevatten.

Ik zal eerst kort ingaan op het ontstaan van Photosynth en de techniek waardoor het uiteindelijke beeld tot stand komt. Vervolgens bekijk ik Photosynth vanuit database aesthetics en het fundamentele debat van database versus narratief. Ik beargumenteer dat beide termen geherdefinieerd moeten worden om nuttig te zijn in het onderzoek naar Photosynth. Vervolgens zoek ik naar aanvullende concepten en breid ik database aesthetics uit met het concept ‘spatial montage’ en een focus op de esthetische ervaring van de gebruiker. Als laatste onderzoek ik of en welke normen en waarden Photosynth reflecteert en onderzoek ik of Photosynth zijn belofte van immersie en authenticiteit waar maakt.

5

De techniek achter Photosynth

Photosynth is direct ontstaan uit de samenvoeging van twee projecten: het softwareprogramma Seadragon van Microsoft Live Labs uit 2006, dat heel veel foto’s tegelijk op een scherm weer kan geven en het mogelijk maakt ver in te zoomen zonder het gebruik van pop-ups (Snaveley et.al. ‘Scene Reconstruction’), en een onderzoek genaamd Photo Tourism uit 2006 van Microsoft Research. Het idee achter het onderzoek was simpel: als we een paar honderd foto’s van één plaats hebben, is er dan genoeg informatie om een driedimensionaal beeld te reconstrueren? De technieken die voor dit onderzoek zijn ontwikkeld, zijn ook de basis van Photosynth geworden (Snavely et.al., ‘Finding Paths’).

Photosynth bestaat dan uit een ‘viewer’ voor het downloaden en navigeren van complexe visuele ruimtes (de Seadragon software) en wat Live Labs een ‘synther’ noemt: een programma dat die visuele ruimtes construeert (namelijk Photosynth zelf). Maar hoe komt het driedimensionale beeld dan tot stand?

Photosynth is mogelijk door ontwikkeling in het onderzoeksveld Image-Based Modelling. Dit is de techniek die een dynamisch driedimensionaal model kan creëren vanuit een collectie van tweedimensionale beelden die als input gebruikt worden (Snavely, Seitz en Szeliski). Anders dan de traditionele methode binnen computer graphics, waarbij men een geometrisch 3D beeld maakte en dat probeerde te projecteren in een tweedimensionale ruimte, probeert IBM kenmerken als hoeken en gezichten direct vanaf een beeld te herkennen en te clusteren, waarna er een driedimensionaal beeld geconstrueerd kan worden.

Deze techniek is dan ook een mix tussen beeld acquisitie, beeld analyse en beeld synthese, of, in de woorden van specialist Paul Devebec, een mix tussen fotografie, computer vision en computer graphics. Deze drie velden kunnen volgens hem op een natuurlijke wijze samenwerken: fotografie om de beelden te verkrijgen, computer vision om de 3D structuur en verschijning er vanaf te leiden en computer graphics om de gereconstrueerde scène weer te geven en nieuwe perspectieven te tonen (Devebec 2). Het uiteindelijke beeld van Photosynth is dus hybride en valt tussen een foto en een computer graphic.

Het softwareprogramma van Photosynth onderzoekt alle verschillende foto’s op overeenkomsten met elkaar en abstraheert zo de meest kenmerkende punten van een foto zoals hoeken en raamkozijnen. Die kenmerken worden vergeleken met die uit andere foto’s. Wanneer op meerdere foto’s dezelfde kenmerkende punten voorkomen, wordt die informatie gebruikt om de vorm van het onderwerp te schatten (Snavely et.al. ‘Scene Reconstruction’). (Zie figuur 1 en 2)

Van deze overeenkomstige punten wordt een puntentekening gemaakt. Dit model wordt de ‘point cloud’ genoemd, wat een puntentekening is van al die belangrijke punten uit het uiteindelijke 3D model (Trujilo). Deze ‘point cloud’ wordt gebruikt als canvas waarop de oorspronkelijke foto’s geprojecteerd kunnen worden, schijnbaar vanuit de positie waar vanaf de foto ooit is genomen (Snavely et.al. “Scene Reconstruction’). (Zie figuur 3) De software van Photosynth ‘niet’ de foto’s die als input gebruikt worden dus eigenlijk zodanig aan elkaar dat zij in de juiste verhoudingen naast elkaar geplaatst worden. Er kan doorheen genavigeerd worden door op de verschillende foto’s te

6

klikken die door te navigeren op het scherm ‘geprojecteerd’ worden, schijnbaar vanuit de positie waar de foto vanaf genomen was. We begrijpen nu hoe Photosynth technisch tot stand is gekomen. In wat volgt zal ik dieper in gaan op de esthetiek ervan.

Database aesthetics Esthetiek in de traditionele opvatting wordt gedefinieerd als ‘a particular theory or conception of beauty (Daniels 3).’ Om deze conceptie van schoonheid te begrijpen, moeten we eerst kijken naar wat dan de esthetische kenmerken van Photosynth zijn. Hiervoor bekijk ik eerst hoe de transformatie van 2D naar 3D begrepen kan worden, om vervolgens me op de esthetiek te richten. Christiane Paul noemt een interface een data container. Ze beschrijft een kunstproject dat een visueel model maakt van de gehele tekst van één pagina uit een boek. Het project representeert dus de inhoud van een roman en zijn structurele elementen op een enkele pagina. Dit project constitueert in de woorden van Paul dan ‘a new form of data container and spatial model for the book on the visual front end (Paul 101).’ De datacontainer bepaalt dan wat er naar voren komt en hoe iets eruit ziet, maar verandert niets aan de data op zich.

Bij Photosynth is dit ook het geval. Photosynth vormt een nieuwe data container voor de database van foto’s. Dit gaat echter wel een stap verder dan het project dat Paul beschrijft. Het maakt immers geen visueel beeld uit abstracte data of tekst, (zoals bij vele andere vormen van data visualisatie zoals temperatuur, de weersvoorspelling of het energiegebruik van een bepaald land), maar het creëert een visueel model dat al op zichzelf staande visuele data bevat. De foto’s op zich zijn immers al visueel. Photosynth voegt hier een nieuwe dimensie aan toe door de foto’s in verhouding tot elkaar in de ruimte te plaatsen en is als zodanig een zeer vernieuwende data visualisatie. Wat Photosynth dus doet door het aggregeren van 2D foto’s in een 3D model, is het creëren van een nieuw soort interface om door een grote collectie van foto’s te browsen.

We weten nu hoe het uiteindelijke beeld dat Photosynth creëert eruit ziet, maar daarmee hebben we nog niet de achterliggende esthetiek verklaard. Daarvoor is het nuttig dieper in te gaan op het debat dat altijd naar de voorgrond treed wanneer het over databases esthetiek gaat, namelijk het debat tussen database en narratief. Deze twee verschillende culturele vormen hebben ieder een andere manier om de wereld te openbaren. De vraag in welke verhouding beide termen nu in Photosynth voorkomen en wat dat betekent, biedt dan een handvat om de esthetiek te begrijpen en openbaart de onderliggende logica van de esthetische vorm. Het geeft zicht op de spanningen tussen beide concepten die aan de uiteindelijke vorm en esthetiek ten grondslag liggen. Database vs Narratief

Databases zijn volgens Paul de container van data. Maar zo’n definitie is te eenzijdig. Paul breidt haar definitie dan ook uit door te zeggen:

7

“Databases (…) do not only consist of the data container. A database is essentially a system that comprises the hardware that stores the data: the software that allows for housing the data in its respective container and for retrieving, filtering, and changing it as well, as well as the users who add a further level in understanding the data as information (Paul 96).”

Is Photosynth dan een database, een gestructureerde collectie van data die op een computer zijn opgeslagen zodat software ze kan raadplegen (De Mul 100), of een narratief, een verhaal, dat een oorzaak en gevolg aanbrengt in schijnbaar ongestructureerde gebeurtenissen (Manovich 225, 2001)?

Er kan immers gesuggereerd worden dat Photosynth een verhaal maakt uit een database van foto’s. Het aggregeert de foto’s en voegt ze samen in een ruimtelijk model, waardoor het ‘verhaal’ verteld wordt over een bepaald object of plaats, in verschillende tijden, vanuit verschillende perspectieven. Er kan dus wellicht gezegd worden dat Photosynth uit een database van digitale fotoalbums een ‘database narratief’ creëert, een verhaal over een database. Of is misschien herdefinitie van deze bestaande concepten nodig om specifiek de esthetiek van Photosynth te begrijpen? Wellicht moeten we zoeken naar een nieuw concept om deze specifieke culturele en hybride vorm te waarderen.

Manovich onderzoekt in zijn tekst ‘Database as Symbolic Form’ hoe de database zich verhoudt tot een andere vorm die de menselijke cultuur heeft gedomineerd – het narratief, oftewel het verhaal. Hij definieert een database als een culturele vorm die geen verhaal vertelt: een database heeft geen begin of eind. Hij zegt hierover:

‘in fact, they don’t have any development, thematically, formally, or otherwise, that would organize their elements into a sequence. Instead, they are individual items, where every item has the same significance as any other (Manovich 218).”

Een database verschijnt dan als een collectie van items waarop de gebruiker verschillende acties kan uitvoeren: kijken, navigeren en zoeken. De database volgens Manovich representeert de wereld dan als een ongestructureerde lijst van items en weigert die lijst op enige manier te ordenen. Een database is dus in zijn puurste vorm ‘a set of elements not ordered in any way (Manovich 238, 2001).’ Hij plaatst daarmee de database tegenover de culturele vorm van narratief, dat een protagonist en verteller nodig heeft, een tekst en een verhaallijn, en een ‘cause-and-effect trajectory of seemingly unordered events (Manovich 225, 2001).’ De database en narratief zijn dan natuurlijke vijanden. Hij zegt hierover: ’Competing for the same territory of human culture, each claims an exclusive right to make meaning out of the world (Manovich 225, 2001).’ Christiane Paul is het daar niet mee eens. Volgens haar zijn media als computer games vaak juist verhalen waarvan de constituerende elementen wel nog altijd georganiseerd zijn in de vorm van een database structuur. Games zijn interactieve verhalen en benadrukken nog steeds meer elementen van het traditionele narratief dan van een database structuur. Een database structuur volgens

8

Paul kan dus wel degelijk een narratief ondersteunen, maar leent zich er niet per definitie voor om er één te genereren (Paul).

Jos de Mul in zijn tekst ‘The Work of Art in the Age of Digital Recombination’ is ook een andere mening aangedaan. Volgens hem zijn narratief en database geen vijanden, maar structureren zij beide op een andere manier de chaotische wereld. Het narratief is niet zozeer een antagonist van de database, maar eerder een bepaald traject door een database. Manovich zelf, en later ook Paul, erkent dit door te zeggen:

The “user” of a narrative is traversing a database, following links between its records as esthablished by the database’s creator. An interactive narrative (which can be alsco called a hypernarrative in an analogy with hypertext) can then be understood as the sum of multiple trajectories through a database (Manovich 227, 2001).”

Een lineair narratief is dan één van de mogelijke trajecten door een database, en een onderdeel van het hypernarratief. Wel plaatst Manovich hiermee het narratief als een onderdeel van de database als omvattende vorm. Of een nieuwe media object zich nu presenteert als lineair narratief, interactief narratief of als database, daaronder, op het niveau van de materiele organisatie, zijn zij allen een database. Manovich zegt hierover: “In new media, the database supports a variety of cultural forms that range from direct translation (i.e. the database stays a database) to a form whose logic is the opposite of the logic of the material itself – narrative (Manovich 226, 2001).’

Door deze herdefinitie is plotseling duidelijker hoe we Photosynth kunnen begrijpen. In feite creëert Photosynth een nieuwe interface naar een database van foto’s. Het 3D model kan gezien worden als het narratief van alle foto’s, omdat het het hele verhaal verteld over een bepaalde plaats of bepaald object. Daaruit kiest de gebruiker een bepaald traject, wat bepaald welke foto’s nu echt zichtbaar worden. Het narratief van Photosynth bestaat dus uit meerdere lagen. Allereerst is er het ‘verhaal’ dat één losse foto verteld, vervolgens het overkoepelende verhaal van alle foto’s samen en vervolgens het interactieve narratief, of het hypernarratief als het verhaal dat uiteindelijk zichtbaar wordt door het traject dat de gebruiker kiest door op verschillende foto’s te klikken.

De verhouding tussen beide termen, database en narratief, is dus dynamisch, waardoor we ons beter kunnen afvragen in welke mate beide begrippen voorkomen in een bepaalde casus en in welke verhouding zij tot elkaar staan. Om deze dynamische verhouding tussen narratief en database verder uit te leggen brengt Manovich de semiotische theorie van paradigma en syntagma in. Deze begrippen laten zien dat de elementen van een systeem op twee manieren gerelateerd kunnen zijn: syntagmatisch of paradigmatisch.

Wanneer we naar de taal kijken is een paradigma een set van woorden, bijvoorbeeld werkwoorden of alle synoniemen voor een zelfstandig naamwoord. Uit deze paradigma’s worden dan door de spreker woorden gekozen die samengevoegd worden tot een lineaire sequentie: een zin. Deze keuzes uit het paradigma, het ‘traject’ dat de spreker uit de verschillende paradigma’s kiest, is het syntagma (Manovich 229-232, 2001). Bij Photosynth is dus het paradigma de set van foto’s die als input gebruikt worden. Het syntagma is dan het traject dat de gebruiker

9

uiteindelijk kiest om door de database te navigeren en welke foto’s dus uiteindelijk zichtbaar worden.

Manovich gaat vervolgens in op de verhouding tussen materialiteit en virtualiteit. Wanneer we nogmaals naar het voorbeeld van de taal kijken, is het syntagma, de zin die uitgesproken wordt, expliciet. Het paradigma daarentegen wordt niet uitgesproken en blijft daardoor impliciet. Manovich zegt dus dat het syntagma hier ‘echt’ is en het paradigma slechts wordt voorgesteld (immers, de spreker en de luisteraar weten beide dat deze zin ook had kunnen bestaan uit andere woorden uit het paradigma). Bij een cinematisch narratief gebeurd volgens Manovich ditzelfde; uit het paradigma van alle shots en scènes wordt bij de montage een syntagma gevormd: een (lineair) verhaal (Manovich 229-232, 2001).

Manovich laat zien dat dit bij nieuwe media echter wordt omgedraaid. De database (het paradigma) bestaat echt, is materieel, terwijl het narratief (het verhaal) niet-materieel of virtueel is. Manovich vat dit samen door te zeggen: ‘Paradigm is real: syntagm is virtual’. Dit is te verduidelijken aan de hand van Photosynth. De database bestaat uit de collectie van foto’s. Hieruit kiest de gebruiker steeds bepaalde foto’s om te bekijken en navigeert door steeds op een andere foto te klikken door de ruimte. Het narratief wordt dus geconstrueerd door het linken van elementen (foto’s) uit de database in een bepaalde volgorde. Op het materiële niveau is het narratief slechts een set van links tussen de foto’s, terwijl de elementen in de database opgeslagen blijven. De database bestaat dus materieel, terwijl het ‘verhaal’ virtueel blijft (Manovich 229-232, 2001).

De Mul gaat ook in op het materiële versus het immateriële. Volgens hem bestaat de database ontologie uit een combinatie tussen ‘virtual reality’ en ‘real virtuality’. Virtual reality is dan het oneindige aantal van mogelijke recombinaties (dus alle mogelijkheden waarop de elementen van een database samengevoegd kunnen worden) terwijl real virtuality de combinaties zijn die daadwerkelijk gerealiseerd worden. Dit is dan het virtuele narratief dat gevormd wordt door navigatie van de gebruiker door een database (De Mul 105).

Vanuit het veld van database aesthetics is dus duidelijk geworden hoe database en narratief in een nieuw medium samenhangen. Database aesthetics maakt dus de onderliggende spanningen die aan een esthetische vorm ten grondslag liggen duidelijk. Database en narratief zijn geen elkaar uitsluitende concepten, maar het één kan uit het ander ontstaan. Een narratief ontstaat bij Photosynth allereerst door de aggregatie van 2D foto’s naar het overkoepelende 3D model, en vervolgens doordat de gebruiker door een database navigeert en een traject kiest uit alle mogelijke elementen. Uit één database kunnen dus meerdere, interactieve narratieven gevormd worden. Maar nog steeds verklaart dit debat niet alle esthetische kenmerken van Photosynth. Bestaat er dan een concept dat Photosynth erkent als een hybride vorm, niet alleen tussen foto en graphic, maar ook als synthese tussen database en narratief en dat ook andere uiterlijke kenmerken tegelijkertijd kan verklaren? Bestaat er één overkoepelende vorm om de esthetiek van Photosynth te doorgronden?

10

‘Spatial Montage’ als oplossing

Het concept ‘spatial Montage’ van Manovich beschrijft hoe er op een nieuwe manier vorm gegeven wordt aan de spanning tussen database en narratief. In dit concept lijken database en narratief dan ook een synthese te vormen waarbij tegelijkertijd aandacht is voor de visuele database, het narratief en de ruimte. Het lijkt dan ook voor mij de ‘oplossing’ van het voorgaande stuk, en blijkt niet alleen de onderliggende spanningen van Photosynth, maar ook andere esthetische kenmerken te verklaren. Dit concept leidt onze aandacht dus af van slechts onderliggende debatten en focust ook op de hybride esthetiek en de uiterlijke kenmerken van Photosynth en hoe dit begrepen kan worden. Waarom is dit concept nu zo passend? Spatial montage is een concept dat Manovich in ‘The Language of New Media’ gebruikt voor een nieuwe, eventueel interactieve vorm van film. Het is een nieuwe of andere manier van monteren waarbij niet slechts één beeld per keer in het frame te zien is, maar meerdere tegelijkertijd. Ook is van belang dat niet de tijd in deze vorm van montage belangrijk is. In traditionele montage is dit wel het geval: de volgorde van de beelden wordt bepaald door wat logisch is voor het chronologische verhaal dat verteld moet worden. ‘Spatial Montage’ gaat echter niet meer over tijd maar over de verhouding van verschillende shots in de ruimte. Beelden worden dan ook naast elkaar, tegelijkertijd in beeld geplaatst. Manovich zegt hierover:

“In general, spatial montage could involve a number of images, potentially of different sizes and proportions, appearing on the screen at the same time. Spatial montage then represents an alternative to traditional cinematic temporal montage, replacing its traditional sequential mode with a spatial one. We now have a new dimension: the position of images in space in relation to each other (Manovich 322, 2001).”

Bovenstaand citaat is goed bruikbaar wanneer we kijken naar Photosynth omdat dit de uiterlijke vorm ervan verklaart. De individuele ‘shots’ oftewel foto’s worden in relatie tot elkaar en naast elkaar geplaatst in de ruimte en zo wordt een ruimtelijk 3D beeld gevormd of gereconstrueerd waar de gebruiker doorheen kan navigeren.

Dit concept is ook nuttig om het veranderende perspectief te verklaren en de esthetiek van de gebruikerservaring, dat ontstaat door de navigatie door het beeld. Manovich grijpt om dit uit te leggen terug op de Graphical User Interface, oftewel de GUI, met zijn ‘multiple windows’, interactie en gelijktijdigheid. Kenmerken van de GUI, als de traditionele interface en de manier van interactie met een computer, zijn volgens Manovich dat het overlappende, meerdere schermen kan weergeven waarin de gebruikers gelijktijdig verschillende handeling uit kunnen voeren. Hij zegt hierover:

“Gui allows users to run a number of software applications at the same time, and it uses the convention of multiple overlapping windows to present both data and controls (Manovich 324, 2001).”

11

De spatial montage volgt dan ook volgens Manovich de ‘logic of simultaneity of the modern Gui’. Er zijn dus steeds verschillende perspectieven tegelijkertijd aanwezig en deze zijn zowel de data als de manier waarop er genavigeerd kan worden. Dit is ook het geval in Photosynth, waarbij de gebruiker door op een andere foto te klikken een ander perspectief te zien krijgt en er andere foto’s in beeld komen. Dat wat er in beeld is ‘keeps changing as the user interfaces with the work’. Manovich sluit af met te zeggen dat het gevolg van deze ruimtelijke montage een cinema is waarin ‘time no longer is priviliged over space, sequence is no longer priviliged over simultaneity, montage in time is no longer priviliged over montage within a single shot (Manovich 2001, 325).”

De spatial montage gaat dus in op hoe tijd en ruimte in een andere verhouding tot elkaar komen te staan. Niet langer zijn shots opeenvolgend, één voor één te zien in één frame, maar zij bestaan naast elkaar, tegelijkertijd, zoals de windows van de GUI. Manovich zegt nog dat ‘The logic of replacement (characteristic of cinema) gives way to the logic of addition and coexistence. Time becomes spatialized, distributed over the surface of the screen (Manovich 325, 2001).’ En inderdaad wordt tijd, in de spatial montage én in Photosynth ‘ruimtelijk’ doordat de shots en foto’s van verschillende tijden en uit andere decennia naast elkaar te zien zijn.

Wanneer we bijvoorbeeld kijken naar de synth van de inauguratie van Obama3, is het mogelijk om dezelfde personen steeds te zien terugkeren op een andere plaats in de ruimte in het drie dimensionale model. Zo zit in één en hetzelfde driedimensionale beeld Obama soms op zijn plaats in het publiek, maar tegelijkertijd ook op het balkon met zijn hand op de bijbel. Zo kunnen ook twee foto’s die naast elkaar te zien zijn weer dezelfde mensen bevatten. De tijd wordt dus opgerekt in dit ruimtelijke model: niet langer kan een persoon slecht op één bepaalde plaats in de tijd weergegeven worden, maar verschillende tijden en situaties kunnen naast elkaar tegelijkertijd bestaan waardoor mensen op meerdere plaatsen in hetzelfde model tegelijkertijd te vinden zijn. Zie figuur 4.

De representatie van meerdere foto’s tegelijk op één pagina, constitueert dus een radicale break met traditionele ruimtelijke modellen (zoals een analoog dan wel digitaal fotoalbum) en een verandering in focus. Zoals Paul het zegt: ‘The narrative itself moves to the background, while the patterns of it’s construction become a focus of attention (Paul 10)’. Photosynth legt door deze ‘ruimtelijke montage’ van ‘shots’ relaties bloot die in het originele format (namelijk het digitale fotoalbum) niet tot uiting zouden zijn gekomen, namelijk, de verhouding van foto’s tot elkaar in de ruimte.

Om beter te begrijpen hoe de aandacht op de constructie wordt gelegd is de term ‘hypermedialiteit’ belangrijk. Hypermedialiteit is “a style of visual representation whose goal is to remind the viewer of the medium" (Bolter & Grusin, 272).” Photosynth geeft erg duidelijk een gemedieerd beeld weer doordat de oorspronkelijke foto’s ‘op’ het 3D beeld zijn ‘geprojecteerd’. Er is niet één vloeiend beeld van gemaakt, maar het standpunt van waaruit de foto is gemaakt en wat er toen binnen het beeld viel, blijft zichtbaar.

3.

12

Dit is een logisch gevolg van de intentie achter de ontwikkeling van de software. Photosynth is immers bedoeld als een manier om door grote collecties van foto’s te browsen. De foto’s met hun verschillende perspectieven, brandpuntsafstanden en verschillen in belichting blijven dus centraal staan en moeten ook individueel onderscheiden kunnen worden. En zij dragen zo bij aan het zichtbaar maken van de reconstructie van een bepaald object of plaats.

Manovich noemt deze zichtbaarheid van de constructie de ‘montage look’. Zoals eerder gezegd is niet langer de ‘logic of replacement’ van de traditionele cinema van belang, maar de hedendaagse esthetiek, die voortkomt uit de computer cultuur, is te verklaren aan de hand van de ‘logic of addition en coexistence.’ Meerdere beelden zijn tegelijkertijd naast elkaar te zien en vullen elkaar zo aan of spreken elkaar zo tegen (Manovich 2001, 325). Zo kunnen in Photosynth twee zeer tegenstrijdige foto’s, van bijvoorbeeld de Notre Dame bij dag en bij nacht, naast elkaar bestaan en zo elkaar tegenspreken of aanvullen.

Waar het scherm bij de traditionele cinema een ‘record of perception’ was, is het computer scherm een ‘record of memory’ omdat niets vergeten of weggehaald hoeft te worden, maar alle voorgaande ‘gebeurtenissen’ bij elkaar opgeteld worden en zo het diverse, collageachtige verhaal verteld kan worden over een object of een plaats (Manovich 325, 2001).

De esthetiek van Photosynth kunnen we dus niet volledig begrijpen wanneer we kijken vanuit het theoretische model van database aesthetics, met als belangrijkste focus het debat tussen database en narratief. Pas nu, nu we het concept van ‘spatial montage’ als een vorm van database aesthetics hebben neergezet, is duidelijk hoe database en narratief in het concept van ‘spatial montage’ een synthese aan zijn gegaan en hebben we een overkoepelend concept gevonden. Door de verschillende foto’s naast elkaar tegelijkertijd te plaatsen in hetzelfde ‘frame’(oftewel het scherm) en daar doorheen te navigeren wordt een ruimtelijk, interactief verhaal verteld, met de montage look van tegenstrijdigheid, simultaniteit en aanvulling als de visuele taal van het huidige digitale beeld. Photosynth heeft dus zijn eigen, hybride en tegenstrijdige database esthetiek die bestaat uit een reconfiguratie van de interface waarmee we de bestanden van een database op internet kunnen ervaren. Het debat tussen database en narratief moet dus uitgebreid worden met het concept van spatial montage als onderdeel van database esthetiek om de uiteindelijke vorm volledig te kunnen doorgronden.

Opvallend hierbij is dat het concept spatial montage (2001), dat nog gaat over een nieuwe vorm van cinema, door Manovich eerder is uitgewerkt dan zijn term ‘info-aesthetics’ (2005) dat gericht is op het ontdekken van nieuwe vormen die we aan informatie geven nu de database de constituerende culturele vorm en als symbool voor de hedendaagse cultuur is. Bij de analyse van de onderliggende esthethiek van Photosynth komen we erachter dat juist een ouder concept, dat Manovich ook nooit meer gebruikt in zijn teksten over ‘info-aesthetics’, het visuele model pas helemaal kan verklaren. Photosynth is wat dat betreft niet zo vernieuwend als de makers doen geloven, en is alleen in een combinatie van info aesthetics én spatial montage te bevatten.

13

De esthetische ervaring

De esthetiek van Photosynth is dus hybride en tegelijkertijd tegenstrijdig door de ‘montage look’, waarbij foto’s naast elkaar of tegenover elkaar geplaatst worden en elkaar tegen kunnen spreken. De gebruiker speelt een essentiële rol bij het ontdekken van het verhaal erin, door te navigeren door de ruimte. De gebruiker is dus onlosmakend verbonden met hoe Photosynth er uit ziet en wat er zichtbaar wordt. Zoals ik aan het begin van deze paragraaf zei, is om esthetiek te begrijpen ook aandacht nodig voor de perceptie (door een gebruiker of kijker) van een (kunst)werk. En ook de database definitie van Paul verklaart dat de gebruiker een onderdeel is van de database doordat het de data begrijpt als informatie. Daarom ga ik hier dieper in op de esthetische ervaring.

Volgens Daniels zijn juist hybriditeit en tegenstrijdigheid, die ik zie als de essentiële esthetiek van Photosynth, ook belangrijk om de esthetische ervaring van de gebruiker te begrijpen en te ontdekken waarin de gebruiker schoonheid ervaart. Een database bevat volgens Daniels altijd tegenstrijdigheid. Zo zegt zij: ‘a database incorporates contradiction; it is simultaneously recombinant and indexical, precise and scaleable, immersive and emergent, homogeneous and heterogeneous. It is a field of coherence and contradiction (Daniels 3).’ Juist wanneer een gebruiker door dit veld van onopgeloste tegenstrijdigheid manoeuvreert, ontstaat volgens haar de esthetische dimensie. Daniels zegt:

“The database is comprised of nested subfields which are activated, and given ontological status, by the user's trajectory through it's field. Continuously emergent ontological states resolve as new subfields from each interaction and are integrated into the field - changing and transforming the content and structure of that field and constituting the "art object" as a continuously evolving and fluid system (Daniels 3).”

Een perceptie van schoonheid, oftewel de esthetische ervaring ontstaat dus volgens Daniels door het navigeren door tegenstrijdige velden van een database.

Ook Jos de Mul gaat in zijn tekst ‘The Work of Art in the Age of Digital Recombination’ in op de esthethische ervaring, en dan met name op hoe de computer interface de esthetische ervaring constitueert en structureert. Hij baseert zich op het essay ‘The work of Art in the Age of Mechanical Reproduction’, waarin Walter Benjamin onderzoekt hoe de mechanische reproductie het kunstwerk transformeert. Benjamin stelt dat in deze ontologische transformatie the ‘cult value’, dat ooit het klassieke kunstwerk karakteriseerde, nu vervangen is door de ‘exhibition value’.

Een belangrijke rol bij deze transformatie speelt het begrip ‘aura’. Benjamin gebruikt deze term om de materiële en historische authenticiteit en authoriteit van het unieke kunstwerk te beschrijven. Een kunstwerk brengt je in contact met zijn geschiedenis, maar tegelijkertijd ervaren we de historische traditie waar het in opgenomen is en waaraan het zijn betekenis ontleent als een onoverbrugbare afstand.

Een auratisch kunstwerk functioneert dan volgens de Mul als een interface tussen ‘the sensible and the supersensible’, oftewel tussen de fysieke materialiteit van het kunstwerk en zijn betekenisvolle geschiedenis waar het naar verwijst. Bij een mechanische reproductie van het kunstwerk wordt de aanwezigheid van de

14

geschiedenis verwoest, waardoor de auratische perceptie en esthetische ervaring verandert. De mechanische reproductie leidt dan volgens Benjamin naar een verlies van aura (De Mul). De Mul brengt deze gedachte naar de 21e eeuw en stelt dat we zijn aangekomen in ‘the age of digital recombination’ waarin de database het ontologische model van het kunstwerk constitueert en dat in deze transformatie de ‘exhibition value’ vervangen wordt door de ‘manipulation value’. Kunstwerken van nu zijn dynamisch en flexibel waar steeds nieuwe data aan toegevoegd kan worden. Dit heeft gevolgen voor de esthetische ervaring want, zo stelt De Mul, doordat het aantal recombinaties van een database bijna oneindig zijn, zien we een terugkering van de aura. Elke opdracht van een gebruiker levert immers een unieke recombinatie van bestaande elementen op. De consequentie hiervan is volgens De Mul dat:

“(...) the digitally recombined work of art regains something of its ritual dimension. It becomes an interface between the sensible and the supersensible again, now no longer located in the history of the work, but in it’s virtuality, that is: the intangible totality of possible recombinations (De Mul 103).”

Bij een database (kunst)werk speelt de ‘aura’, als datgene waar het object naar verwijst en zijn historische context dus weer mee in de esthetische ervaring.

Hoewel we bij Photosynth kijken naar een recombinatie van digitale kopieën van een foto en als zodanig naar een bepaalde gebeurtenis of plaats, ervaren we wel de aura van die plaats of gebeurtenis. Photosynth bestaat dus wel uit foto’s die gereproduceerd kunnen worden, maar het uiteindelijke beeld dat we zien is toch een interface tussen ‘the sensible and the super sensible’. Niet langer is er aandacht voor de materiële geschiedenis van het object en de ontwikkelingen die het heeft doorgemaakt, maar wel verwijst het naar een gebeurtenis die is geweest en naar de historie rondom een bepaald gebouw of een gebeurtenis. De gebruiker ervaart dus wel de ‘historical sensation’. Daarbij komt dat het traject dat iedere gebruiker volgt steeds een unieke recombinatie constitueert, waardoor het (kunst)werk vanuit het perspectief van de gebruiker weer uniek en authentiek wordt.

We hebben nu de esthetiek van Photosynth onderzocht en verklaard aan de hand van database aesthetics, en spatial montage als een onderdeel daarvan geplaatst. De focus op perceptie verklaart hoe de esthetische ervaring voor de gebruiker geconstitueert wordt, namelijk enerzijds door de navigeren door een veld van tegenstrijdigheden (Daniels) en anderzijds door een terugkeer van de aura waardoor elke recombinatie voor de gebruiker uniek is en een ‘historical sensation’ bewerkstelligt. Maar er is nog erg weinig aandacht geweest voor de culturele implicaties van Photosynth. In wat volgt ga ik in op Photosynth als culturele vorm en onderzoek ik zijn claim op authenticiteit.

15

Photosynth als culturele vorm

Wat is nu de betekenis van Photosynth? Dit kunnen we pas begrijpen als we de betekenis zoeken tussen de persoonlijke foto’s en het aggregaat hiervan. Dat wat mensen fotograferen laat zien wat zij blijkbaar mooi of belangrijk vinden van een bepaald gebouw of een bepaalde gebeurtenis. Niet vaak wordt de rug van een persoon gefotografeerd of de kale muur aan de achterkant van een gebouw. Deze voorkeur voor wat een foto leuk of mooi maakt is per cultuur verschillend en dus cultureel bepaald.

De synth is dan een aggregatie van die meningen en perspectieven op de wereld en is in zijn geheel een model van wat er door een groep belangrijk gevonden wordt. We zouden kunnen zeggen dat Photosynth ‘a record of the elemental aesthetics of familiair objects (Paul 103)’ creëert. Aan de hand van het 3D model kunnen we dus ontdekken wat volgens een groep mensen (wiens foto’s zijn gebruikt bij de reconstructie), de kenmerkende esthetiek is van een bepaald object. Hieruit kan informatie worden gehaald, onder andere welke route toeristen af blijken te leggen bij het fotograferen van een bepaald gebouw (o.a. Snavely et.al. ‘finding paths’), maar ook culturele waarden en conventies. Hiermee kom ik op de belofte van authenticiteit van Photosynth. We zouden het fotograferen van een bepaalde scène kunnen zien als het deconstrueren en uit elkaar halen van die scène. De belofte van Photosynth is dat het een scène weer reconstrueert zodat je daadwerkelijk zou kunnen ervaren hoe het er op een bepaalde plaats in het echt uit ziet. Dit wordt duidelijk aan de hand van uitspraken als ‘Anybody who sees your synth is put right in your shoes, sharing in your experience (website Photosynth).’

Toch blijft de immersieve ervaring die voor dit gevoel van ‘being there’ nodig is, uit. Allereerst komt dit door de keuze om de foto’s als afzonderlijk herkenbaar te ‘projecteren’ op het scherm. Deze hypermedialiteit doet het gevoel van ‘being there’ te niet. Maar daarnaast is essentieel dat Photosynth niet een model weer geeft van hoe een plek of evenement er daadwerkelijk uit ziet of zag, maar een model van hoe het er volgens een groep mensen uit zag. Photosynth laat niet de waarheid zien van een bepaalde plaats, maar aggregeert slechts de meningen en perspectieven op en betekenissen die mensen aan iets hebben toegekend, en projecteert deze in de ruimte.

Bij de inauguratie van Obama wordt bijvoorbeeld niet ‘de waarheid’ verteld van hoe het er aan toe ging, in welke volgorde dingen gebeurden en welke uitspraken er werden gedaan, maar slechts wie er onder andere aanwezig waren, waar zij naar keken, hoe iets er volgens hen uitzag en wat er blijkbaar belangrijk gevonden werd. Zelfs een foto, die in het historische discours werd gezien als een afbeelding van de werkelijkheid, van hoe iets echt was, is niet objectief. Ieder mens geeft aan een foto een bepaald (onbewust) perspectief mee, niet alleen door te bepalen wat er wel of niet gefotografeerd moet worden, maar ook door de positie te bepalen waar vanaf de foto genomen moet worden, de keuze voor een lens of belichtingswaarden en wat er binnen het frame moet vallen (Kessler 189).

Wat een foto kan laten zien is slechts dat de fotograaf daadwerkelijk op een bepaalde tijd op een bepaalde plaats was, maar we moeten volgens Frank Kessler niet de fout maken dit ‘having been there’ te verwarren en over te laten lopen in dat

16

het beeld laat zien ‘how it was’ (Kessler 191). De ‘waarheid’ is dus niet te bevatten en altijd subjectief. Reconstructie van authenticiteit is onmogelijk, niet alleen omdat Photosynth daar niet in slaagt, maar ook omdat die authenticiteit niet bestaat. Wél geeft Photosynth een diversere representatie weer van een gebeurtenis dan bij traditionele media, doordat niet slechts één perspectief getoond wordt. Photosynth vertelt niet alleen een ruimtelijk verhaal over een bepaald object of evenement, maar kan ook het verhaal vertellen over zijn constructie. Een database dat zijn constructie weer geeft kan dan volgens Christiane Paul een ‘meta-narrative’ zichtbaar maken over culturele waarden en conventies. Database aesthetics kan een kritiek vormen op hoe wij informatie tot ons nemen, organiseren en wat wij blijkbaar mooi of belangrijk vinden in onze cultuur. Een meta-narrative wijst volgens Paul dan op ‘the potentiality and absurdity of classifying objects endowed with personal meaning. [The] project operates on the threshold between logical classification and meanings (...) (Paul 104).’ De database esthethiek van Photosynth focust dus op zijn constructie en laat door aggregatie van de persoonlijke perspectieven van mensen de culturele conventies en waarden van onze maatschappij zien. Photosynth als een esthetisch - artistiek computer beeld bevat dus culturele en historische conventies in zich en reflecteert zo grotere modellen van menselijk geconstrueerde culturele realiteit. Volgens Paul is database esthethiek dan ook niet meer alleen nuttig om het ‘meta verhaal’ van één bepaald project te achterhalen, maar het lijkt volgens haar dat database esthetiek emblematisch is geworden voor onze tijd. Zo zegt zij:

“Largely brougth about by digital technologies, database aesthetics itself has become an important cultural narrative of our time, constituting a shift toward a relational networked approach to gathering and creating knowledge about cultural specifics (Paul 108).” Ook Lev Manovich ziet de database als essentieel voor onze cultuur en als de

nieuwe culturele vorm. Hij gaat zelf zo ver door te stellen dat de database een symbool is voor de hedendaagse computer cultuur. Hij zegt hierover ‘Databases have become the dominant cultural form of the computer age, they are onto-logical machines that shape both our world and our world view (Manovich 219, 2001). De ‘database logic’ waarbij de gebruiker data toe kan voegen, weg kan halen, en snel kan zoeken en vinden, ‘becomes the logic of culture at large’. Database aesthetics is dus niet alleen nuttig om de esthetiek van één bepaalde casus te bevatten en te doorgronden, maar maakt ook meer duidelijk over onze hedendaagse samenleving, en wat de dynamische relatie is tussen database esthetiek, onze cultuur, normen en waarden en de manier waarop wij informatie tot ons nemen.

17

Conclusie

In dit paper heb ik onderzocht in hoeverre we Photosynth kunnen onderzoeken vanuit ‘database aesthetics’. Daarbij heb ik steeds beargumenteert dat de esthetiek van Photosynth begrepen kan worden vanuit de begrippen hybriditeit en tegenstrijdigheid. Ik ben ingegaan op de technische, de esthetische en de culturele aspecten van Photosynth. Allereerst ben ik ingegaan op de technische achtergrond van Photosynth om te laten zien dat de uiteindelijke vorm hybride is omdat het een positie tussen foto en computer graphic inneemt.

Vervolgens ben ik ingegaan op de database aesthetics en het daarbij behorende debat database versus narratief, omdat dit zicht geeft op de onderliggende spanningen die de esthetiek van Photosynth constitueert. Duidelijk is geworden dat beide begrippen niet elkaar uitsluitende concepten zijn, maar beide in bepaalde mate tegelijkertijd aanwezig kunnen zijn. Wederom blijkt de esthetiek van Photosynth dus te ontstaan uit een hybride vorm van database en narratief.

Ik heb gezocht naar een concept dat recht deed aan Photosynth als hybride vorm tussen database en narratief en om ook andere esthetische kenmerken te kunnen verklaren. Deze oplossing heb ik gevonden in het oudere concept ‘spatial montage’ van Manovich. Hierbij is niet meer de tijd maar de ruimte belangrijk, en worden verschillende foto’s naast elkaar, tegelijkertijd geplaatst in één frame. De term ‘montage look’, waarbij beelden elkaar tegenspreken en aanvullen tegelijkertijd is hierbij de ‘visuele taal van het beeld. Spatial montage als concept verklaart dus de esthetiek die ontstaat als gevolg van de hybride en tegenstrijdige vorm van het beeld.

Vervolgens heb ik gekeken naar de esthetische ervaring, omdat esthetiek ook of juist gaat om de perceptie van de gebruiker. De esthetische ervaring wordt geconstitueerd door de navigatie door de foto’s en de tegenstrijdige velden die daarin ontstaan. Ook de ‘aura’ heb ik besproken omdat dit concept het gevoel van de gebruiker verklaart dat er ontstaat wanneer je plotseling meemaakt hoe het op een bepaalde plek is geweest. Deze ‘historical sensation’ is van belang.

Als laatste ben ik vanuit database aesthetics naar de culturele vorm gegaan, omdat deze culturele dimensie ook opgesloten ligt in het onderzoeksveld van database esthetiek. Zoals Paul zegt: ‘database aesthetics often becomes a conceptual potential and cultural form – a way of revieling (visual) patterns of knowledge, beliefs and social behavior (Paul).’ Daarom heb ik gekeken naar de culturele manifestatie van Photosynth en heb ik beargumenteert dat Photosynth als een esthetisch-artistiek computer beeld culturele en historische conventies bevat en zo grotere modellen van menselijk geconstrueerde culturele realiteit reflecteert. Door de aggregatie van de perspectieven en betekenissen die mensen aan hun foto’s hebben toegekend, reflecteert het driedimensionale model culturele normen en waarden, en vertelt het een ‘meta-narrative’ over de manier waarop wij informatie ordenen en wat wij mooi vinden. Het 3D model kan dus gezien worden als zowel een reflectie van persoonlijke meningen en perspectieven, als een reflectie van culturele normen en conventies. Photosynth is dus tegelijkertijd individueel en maatschappelijk.

Zowel de technische, als de esthetische, als de culturele aspecten zijn hybride en tegenstrijdig. Tegenstrijdigheid en hybriditeit zijn daarom de belangrijkste constituerende factoren voor de ‘database esthetiek’ van Photosynth. Photosynth als

18

casus laat dan zien hoe theoretische concepten uit database aesthetics zoals bijvoorbeeld database en narratief geherdefinieerd moeten worden om recht te doen aan nieuwe media vormen. Nieuwe media objecten functioneren niet meer via deze bekende dichotomieën. Pas wanneer we het concept spatial montage aan dit onderzoeksveld toevoegen kunnen we de hybride esthetiek van Photosytnh bevatten.

19

Literatuurlijst

Bolter, J., & R. Grusin. Remediation. Understanding New Media. Cambridge: MIT Press 1999. Daniel, S. “Collaborative Systems: Evolving Databases and the 'conditions of possibility' -- artificial life models of agency in on-line interactive art.” AI & Society: The Journal of Human-Centred and Machine Intelligence 14 (2000): 196-213.

Devebec, P. “Pursuing Reality with Image-Based Modeling, Rendering, and Lighting.” [2000] Paul Devebec Publications – 31-10-2009 http://www.debevec.org/Research/SMILE2/debevec-smile2-2000.pdf Kessler, F. “What You Get is What You See: Digital Images and the Claim on the Real.” Digital Material. Red. Marianne van den Boomen et.al. Amsterdam: Amsterdam University Press, 2009. 187-198. Manovich, L. The Language of New Media. Cambridge: MIT Press, 2001. --------------. “Database as Symbolic Form.” Database Aesthetics. Red. Victoria Vesna. Minneapolis: University of Minnesota Press, 2007: 39-61. ----------------. “Information and Form.” [2000] Lev Manovich. Home page – 02-11-2009

http://www.manovich.net/DOCS/Information_form_review.doc ----------------. “Data Visualisation.” [2002] Lev Manovich. Home page – 01-11-2009

http://www.manovich.net/DOCS/data_art_2.doc ----------------. “The Shape of Information.” [2005] Lev Manovich. Home page –

01-11-2009 http://www.manovich.net/DOCS/IA_Domus_3.doc Mul, J. de. “The Work of Art int he Age of Digital Recombination.”Digital Material.

Red. Marianne van den Boomen et.al. Amsterdam: Amsterdam University Press, 2009. 95-106. Paul, C. “The Database as System and Cultural Form.” Database Aesthetics. Red. Victoria Vesna. Minneapolis: University of Minnesota Press, 2007. 95-110. Pauwels, L. “An Integrated Model for Conceptualising Visual Comptence in Scientific Research and Communication.” Visual Studies 23: 147-161.

http://dx.doi.org/10.1080/14725860802276305 Snavely, N., S.M. Seitz & R. Szeliski. “Photo Tourism: Exploring Photo Collections in 3D.” ACM SIGGRAPH 2006 Papers (2006): 835-846. http://delivery.acm.org.proxy.library.uu.nl/10.1145/1150000/1141964/p835-snavely.pdf?key1=1141964&key2=1187283521&coll=Portal&dl=ACM&CFID=54582870&CFTOKEN=62095925 Snavely, N. et. al. “Finding Paths through the World’s Photo’s.” ACM SIGGRAPH 2008 Papers (2008).

20

http://delivery.acm.org/10.1145/1370000/1360614/a15-snavely.pdf?key1=1360614&key2=6136163521&coll=Portal&dl=ACM&CFID=52991021&CFTOKEN=15180951 -------- --------------“Scene Reconstruction and Visualization from Community Photo Collections” [2010] Publications – Microsoft Research – 23-09-2009 http://research.microsoft.com/pubs/101822/Snavely-PIEEE10.pdf Trujillo, L. & G. Olague. Synthesis of Interest Point Detection Through Genetic Programming. Proceedings of the 8th annual conference on Genetic and evolutionary computation (2006): 887-894.

http://delivery.acm.org.proxy.library.uu.nl/10.1145/1150000/1144151/p887-trujillo.pdf?key1=1144151&key2=7235973521&coll=Portal&dl=ACM&CFID=54509125&CFTOKEN=51645883 Internetsites: Photosynth. About – 23-09-2009 www.photosynth.com Seadragon. About– 23-09-2009 www.seadragon.com LiveLabs: www.livelabs.com

21

Bijlage

Figuur 1. Deze afbeelding beschrijft de drie stappen van Image-Based Modelling. In stap 1 worden de kenmerkende punten van foto’s gezocht. In stap 2 worden al deze punten met de punten uit andere foto’s vergeleken op zoek naar overeenkomsten. Stap 3 laat zien hoe er uit deze punten een driedimensionaal beeld gevormd kan worden. Bron: Snavely et. al. ‘Scene Reconstruction’.

Figuur 2. Deze afbeeldingen laten zien hoe het software programma te werk gaat bij het vergelijken van de kenmerken van een foto. De gekleurde vierkanten in beide foto’s corresponderen met elkaar. Het maakt voor de software niet uit of er nu mensen voor het gebouw staan of niet. Bron: Snavely et. al. ‘Scene Reconstruction’.

22

Figuur 3. Hier is de ‘point cloud’ te zien aan zowel de linker als de rechter kant van de afbeelding. Hierop worden de originele foto’s geplaatst. Bron: Photosynth.com

Figuur 4. Al deze foto’s zijn genomen bij de inauguratie van Obama. Te zien zijn zowel aanwezigen in het publiek (zie boven) als Obama en zijn vrouw (zie onder). Opvallend is dat in één het hetzelfde model, Obama op de ene foto staat om de eed af te leggen, en in de andere op een andere plaats op zijn stoel zit. De ruimte/tijd verhouding verandert dus in Photosynth, omdat het meerdere tijden tegelijkertijd in één frame weer kan geven. En tegelijkertijd kunnen zien we foto’s van mensen uit het publiek. Bron: website CNN http://edition.cnn.com/SPECIALS/2009/44.president/inauguration/themoment