Bachelorproef Structuur proDE/proDUCE - 2014-2015.docx

0:53

Een interactieve audiovisuele installatie

Bachelorproef voorgedragen door Adriaan Debergh tot het behalen

van de graad van Bachelor in de grafische en digitale media aan de Arteveldehogeschool

Promotor: Jonas Pottie

Adriaan Debergh Bachelorproef 2014-2015 Multimediaproductie proDUCE 0:53

Academiejaar 2014 - 2015 1

Arteveldehogeschool - Grafische en Digitale Media

Inhoudsopgave Introductie .............................................................................................................................. 3

1. Onderwerp .......................................................................................................................... 5

1.1 Inspiratie en conceptvorming ..................................................................................... 5

1.2 Concept en titel ............................................................................................................ 6

1.3 Mindmaps ...................................................................................................................... 6

1.4 Moodboards .................................................................................................................. 6

2. Productiedossier ................................................................................................................ 7

2.1 Pre-productie ............................................................................................................... 7

2.1.1 Software ................................................................................................................. 7

2.1.1.1 Video ............................................................................................................... 7

2.1.1.2 Audio ............................................................................................................... 9

2.1.2 Proefopstelling – locatie .................................................................................. 10

2.1.3 Vorm – opstelling .............................................................................................. 12

2.1.4 Materiaal .............................................................................................................. 13

2.1.4.1 Opstelling...................................................................................................... 13

2.1.4.2 Vissen ............................................................................................................ 13

2.1.5 Vorm – Beelden ................................................................................................. 14

2.1.6 Audio .................................................................................................................... 18

2.2 Productie..................................................................................................................... 19

2.2.1 Touchdesigner .................................................................................................... 19

2.2.1.1 Operators in Touchdesigner ....................................................................... 19

2.2.1.2 3D basis-setup in Touchdesigner ............................................................... 22

2.2.1.3 Mapping ........................................................................................................ 23

2.2.1.4 Finaal video-netwerk .................................................................................. 23

2.2.1.5 Good practices in Touchdesigner .............................................................. 27

2.2.2 Hardware .............................................................................................................. 28

2.2.3 Dataverwerking ................................................................................................... 28

2.2.3.1 OSC ................................................................................................................ 28


2 Academiejaar 2014 – 2015


2.2.3.2 MIDI .............................................................................................................. 32

2.2.3.3 Python ........................................................................................................... 34

2.2.4 Ableton Live ....................................................................................................... 36

2.2.4.1 Drums ............................................................................................................ 36

2.2.4.2 Bass en andere synthesizers ....................................................................... 37

2.2.4.3 Effecten ........................................................................................................ 37

2.2.4.4 TouchDesignerSync .................................................................................... 38

2.3 Post-productie ........................................................................................................... 40

2.3.1 Time-lapse van het opstellen ............................................................................ 40

2.3.2 Time-lapse van de installatie ........................................................................... 40

2.3.3 Audio-capture ..................................................................................................... 40

3. Besluit ................................................................................................................................41

4. Bijlagen ..............................................................................................................................42

4.1 Mindmaps ................................................................................................................... 42

4.2 Moodboards ................................................................................................................ 44

5. Bronnen ..............................................................................................................................45

5.1 Literatuur ................................................................................................................... 45

5.2 Web .............................................................................................................................. 45

6. Logboek .............................................................................................................................46




Introductie

Het naslagwerk van mijn bachelorproef wil ik gepast starten met enkele

dankwoorden gericht aan mensen die nauw betrokken waren bij de realisatie.

Eerst en vooral wil ik Jonas Pottie, mijn promotor, bedanken voor het geloven

in het idee, de feedback en de hulp bij de organisatie van de opstelling.

Ook Kristof Raes, leerkracht aan Arteveldehogeschool, wil ik bedanken voor

zijn inzet bij het verzamelen van materiaal, logistieke zaken af te handelen en

zijn algemene interesse in mijn werkstuk.

Daarnaast wil ik ook graag mijn ouders bedanken voor de hulp bij de

realisatie van de opstelling en op financieel vlak zaken mogelijk te maken.

Ten slotte wil ik ook nog mijn vriendin bedanken voor de hulp bij het

verzamelen van materiaal en de hulp bij het opstellen.




1. Onderwerp

1.1 Inspiratie en conceptvorming

Deze bachelorproef vertrok vanuit verschillende interesses. Er werd naar een

concept gezocht dat zowel muziek, video als projection mapping combineerde. Een

filmpje in het bijzonder bracht mij op verschillende sporen. Het gaat hier om de live-

show ‘ISAM’van Amon Tobin. Na wat onderzoek kon ik uit deze show twee

belangrijke zaken halen. Het ene was Touchdesigner, de software die gebruikt werd

bij deze show, het andere was het bedrijf ‘V-Squared Labs’. Via de projecten van

V-Squared Labs kwam ik op verschillende interessante installaties terecht.

De installaties waren zeer uiteenlopend. Er was bijvoorbeeld een Hyundai project

waarbij 3D Projection Mapping gebruikt werd op een auto in de ruimte. Een tweede

project was een 3D-projectie van een volledig basketbal-veld. Wat mij ook zeer

aansprak was het project van Imogen Heap, die gebruik maakt van twee

handschoenen die in verbinding staan met Ableton Live, om zo live effecten en

synthesizers te controleren. De live-shows van onder andere Rheyne en Flying

Lotus waren zeer interessant omdat deze gefocust waren op de interactie tussen

audio en video. Ook het werk van UVA (United Visual Artists) was een goede

inspiratiebron. Daarnaast waren er ook twee projecten die ik live gezien heb.

Enerzijds was ik aanwezig op het lichtfestival van Gent, waar zeer veel gebruik

gemaakt werd van projectie-mapping en andere lichttechnieken. Anderzijds was ik

op een optreden van Max Cooper, met als opwarming-acts een interessante

samenwerking tussen Oaktree en Nachtcollectief. De mapping en video bij deze

artiesten was zeker een meerwaarde bij de audio.

Naast deze voorbeelden leerde ik nog een hele hoop andere artiesten, collectieven en

installaties kennen. Ik las enkele boeken, onder andere over Touchdesigner. Het

boek dat mij het meest bijbleef was echter ‘Generative Design’. Bij het lezen van

een deel van dit boek maakte ik ook kennis met het concept Generative Design. Het

is eenvoudig uitgelegd een soort van data-visualisatie. Dit was iets wat mij

ontzettend interesseerde.

Nadat ik enkele opties had uitgeroeid wegens praktisch onhaalbaar qua budget en

omvang (bijvoorbeeld architectuur-mapping en 360°-dome projecties) lagen nog

enkele pistes open. Er was het idee om een product centraal te plaatsen (zoals het

Hyundai-project), of een levend decor te maken voor theater en zelfs een concept




waarbij er aan ‘drive-by-projectie’zou worden gedaan. De optie die mij echter het

meest aansprak, was een muziekperformance aan de hand van een step-sequencer.

1.2 Concept en titel

De step-sequencer moest worden aangedreven door data. Ik besliste dat deze data op

een willekeurige manier moest worden gegenereerd en real-time audio en video kon

beïnvloeden. Een eerste idee was om wolken te filmen en real-time deze beelden te

analyseren. Aan de hand van kleurwaarden, bewegingen en vormen in deze beelden

kon dan data worden gevormd. ’s Nachts zou deze opstelling dan ‘slapen’,

aangezien het beeld volledig zwart zou zijn.

Na wat verder zoeken naar een willekeurige input, kwam ik tijdens een slapeloze

nacht op het idee om de beweging van vissen te tracken. Dit omwille van het feit dat

goudvissen vaak bestempeld worden geen lang geheugen te hebben. Volgens die

mythe zouden vissen dus steeds een willekeurig pad afleggen. Bij verschillende

vissen is de interactie tussen deze vissen ook interessant. Door een webcam te

plaatsen voor het aquarium, konden de locaties van de verschillende vissen constant

worden opgevolgd.

Aan de hand van die data zou dus video en audio worden gegenereerd. Ik wou de

beelden een eigen ruimte geven, waardoor geopteerd werd om een relatief

eenvoudige opstelling te bouwen en aan projectie-mapping te doen.

Het idee om vissen te gebruiken, had ik om 0:53 ‘s nachts. Hieruit werd dan ook de

titel afgeleid.

1.3 Mindmaps

Zie bijlagen.

1.4 Moodboards Zie bijlagen.




2. Productiedossier

2.1 Pre-productie

2.1.1 Software

Een eerste vereiste bij het kiezen van de software, was dat alles op een legale manier

zou gebeuren. Eerst en vooral werd gekeken over welke software ik reeds beschikte

die ook bruikbaar zou zijn voor deze opdracht. Het adobe-pakket kwam hiervoor in

aanmerking, met Illustrator, After-Effects, Premiere Pro en Photoshop als mogelijke

kandidaten. Daarnaast had ik ook ervaring met de 3D-software Blender en audio-

software Audacity en Ableton Live.

Om real-time audio en video te maken moest er echter op zoek gegaan worden naar

aanvullende software.

2.1.1.1 Video

Er werden verschillende betalende software in trial-versie uitgeprobeerd.

- ‘Resolume Arena’/’Resolume Avenue’ zijn flagship-software van

Resolume. Avenue is een volledige VJ-software oplossing. Het is vooral gebaseerd

op ‘sample-mashen’, het mixen van vooraf gemaakte beelden. Deze software komt

meteen bovendrijven wanneer er gezocht wordt naar visuele software. Dit wordt

vaak gebruikt in de muziekindustrie. Bij de trialversie is een watermerk aanwezig.

- ‘Max MSP’ is software die gebaseerd is op nodes en coding. Het is een

pakket dat zowel audio als video behandelt. Er kunnen dus zowel custom

synthesizers gemaakt worden als effecten worden gezet op video en zelfs video

worden gegenereerd. Dit is een software met een relatief hoge leerdrempel. Verder

wordt Max MSP het vaakst gebruikt in samenwerking met Ableton Live, wat ‘Max

for Live’ heet.

- ‘TextMachine3D’ is een live en pre-productie software voor video. Er is

onder andere projection mapping, real-time video-generatie, 3D-model en particle

systems support.

Daarnaast werden ook verschillende freeware softwarepaketten getest.




- ‘vvvv’ is een software die het dichtst staat bij Max MSP. De netwerken

bestaan hier opnieuw uit verschillende nodes. De mogelijkheden zijn hierbij bijna

oneindig. Deze software heeft een nog hogere leerdrempel dan Max MSP, aangezien

alles zeer minimalistisch is opgevat.

- ‘Whorld’ is een video-generatie software die wat onduidelijk in elkaar zit.

De omgeving is niet echt modern en de mogelijkheden zijn beperkt. Dit is vooral een

software die aangenaam is om mee te spelen, maar waarmee je niet snel zal bereiken

wat je voor ogen hebt.

- ‘Processing’ is een programmeertaal gebaseerd op Java. Na een hoop

tutorials te volgen had ik wel een basis van deze software, maar om efficiënt

complexere 2D en 3D op te bouwen is een uitgebreide kennis van programeren nodig.

- ‘Touchdesigner’ is software van het Canadese bedrijf ‘Derivative’.

Het bedrijf is een spin-off van het befaamde bedrijf Side Effects, dat onder andere

verantwoordelijk is voor de SFX-Software Houdini. Touchdesigner kruiste mijn pad

na informatie te lezen over de show ‘ISAM’ van muzikaal artiest Amon Tobin. De

software opent met een klein project waarin basis-elementen zijn toegepast. Na het

bestuderen van enkele projecten en het volgen van enkele basis-tutorials, bleek

Touchdesigner de ideale oplossing te zijn bij dit project.

De structuur bestaat uit verschillende nodes, die – in tegenstelling tot Max MSP en

vvvv – visueel worden voorgesteld. Dit maakt de netwerken veel overzichtelijker en

toegankelijker.

De formule die wordt gebruikt bij deze opstelling is de Non-Commercial versie. De

belangrijkste minpunten van het gebruik zijn de gelimiteerde output-resolutie

(1280x1280p) en de limitering van enkele operators (met als grootste probleem de

‘Blob Tracking’). Een grondigere bespreking van Touchdesigner volgt verder in

dit dossier.

- ‘CCV’ is een tool die blob-tracking mogelijk maakt. Na het zoeken naar

verschillende mogelijkheden om de vissen te tracken met een webcam (onder andere

Processing kwam hierbij opnieuw naar boven) en de limitering van 2 ‘blobs’in de

Touchdesigner Non-Commercial versie, was dit de enige oplossing. Blob Tracking

bestaat uit twee onderdelen. Er wordt een afbeelding ingegeven die als achtergrond

dient. Daarna gaat CCV via live-input (webcam) op zoek naar‘blobs’. Dit zijn

plaatsen op het beeld waar afgeweken wordt van de achtergrondafbeelding. De




positie van deze blobs wordt dan via OSC data doorgegeven.

2.1.1.2 Audio

- ‘Maschine’is een software gebaseerd op de hardware-controller met

dezelfde naam. Deze worden beiden uitgegeven door Native Instruments. Aangezien

ik hierover beschikte, onderzocht ik de mogelijkheden van het gebruik hiervan. Er is

support voor MIDI, maar het systeem is vooral gefocust op het gebruik met de

hardware-controller.

- ‘Reaktor’is een software-synthesizer van Native Instruments. Het is het

enige programma dat out-of-the-box OSC data accepteert, wat handig is bij het

gebruik met Touchdesigner.

- ‘LoopBE Midi’is een klein programma dat handelt als virtuele midi-kabel.

Er zijn bijna geen opties bij deze tool, maar het werkt zeker naar behoren. Het

maakte de verbinding tussen verschillende software mogelijk door middel van MIDI

signalen.

- ‘Ableton Live’is een van de meest bekende ‘DAWs’, Digital Audio

Workstations. Het verschilt in andere software (zoals Reason, FL studio,

GarageBand en Pro Tools) in het feit dat deze software vooral gefocust is op live-

acts. Het maakt gebruik van clips en sequences die kunnen getriggerd worden. Dit

bleek de ideale oplossing voor deze opstelling door de betrouwbaarheid en

volledigheid. Ableton Live is niet gratis te verkrijgen, maar werd wel onder een

trial-versie van 30 dagen gebruikt tijdens zowel de pre-productie als het live draaien

van de opstelling zelf. Er zijn geen limiteringen bij de trial-versie(behalve indien de

software commercieel wordt gebruikt).




2.1.2 Proefopstelling – locatie

Een eerste belangrijke beslissing die moest worden genomen was de locatie van de

installatie. Omdat deze bachelorproef in opdracht van Arteveldehogeschool

gebeurde, werd gekozen het ook binnen school op te stellen. Ik kreeg enkele maanden

voor de deadline enkele weken de tijd om in een lokaal op school op eigen vraag een

proefopstelling te bouwen. De locatie was van belang om de grootte van het object te

bepalen waarop zou worden geprojecteerd. Enkele beelden van de opbouw en test-

projecties worden hieronder weergegeven.




2.1.3 Vorm – opstelling

Er werd intensief gezocht naar de vorm van het object waarop zou worden

geprojecteerd. Na het uittekenen in 3D en het evalueren van het materiaal dat ter

beschikking was, werd besloten om een deel van een ‘truncated cube’te gaan

maken. Een truncated cube is een kubus waarvan de hoeken zijn afgesneden, zodat

alle zijvlakken achthoeken worden, die verbonden zijn met driehoeken. Achthoeken

zijn interessante vormen omdat het zeker kan worden gebruikt bij het visualiseren

van muziek, dat over het algemeen in maat 4/4 wordt gespeeld. Door de cube te

kantelen op 1 van zijn hoeken, zijn slechts 3 zijdes nodig wanneer de opstelling tegen

een muur wordt geplaatst.

Na een hoop problemen met de opstelling op vlak van stevigheid, werd besloten de

vorm toch recthop te plaatsen. De bovenkant zou zo weinig of niet zichtbaar worden.

Dit werd opgelost door er een soort reflectievlak van te maken, die op het ritme van

de muziek licht reflecteert op het plafond.




2.1.4 Materiaal

2.1.4.1 Opstelling

Als materiaal voor het object werd gekozen om wit karton te gebruiken. Dit vanwege

het relatief lage gewicht en het gemakkelijke vervormen, snijden en opstellen. Voor

het karton nam ik contact op met verschillende drukkerijen. Uiteindelijk mocht ik

gratis enkele grote panelen gaan halen bij een lokale drukkerij. De opstelling werd in

alle dimensies 1,5 meter. Om de constructie staande te houden, werd bij de

proefopstelling geprobeerd met kartonnen driehoeken binnenin te werken. Dit echter

met weinig succes. Later werden houten hoeken gemaakt die de uiteindelijke

constructie ondersteunen.

Naast de opstelling werd er ook veel aandachte besteed aan de aankleding van de

ruimte. Om het maximale effecte te verkrijgen van projectie op het object, moest er

een volledig donkere ruimte worden gecreëerd. Om de vele ramen in het lokaal te

verduisteren, werden plastiek folie gebruikt dat wit is aan de buitenkant. Dit om het

lokaal zo weinig mogelijk op te warmen. Om de ruimte af te maken, werd er een

volledige ruimte binnen het lokaal gecreëerd aan de hand van zwart tafelpapier. De

keuze om tafelpapier te gebruiken werd gemaakt omwille van het gewicht en de

weinige reflecties. Daarnaast was een zwarte achtergrond ook nodig omdat de

projector geen functies heeft om ‘geen’ licht te projecteren. Zo is zwart steeds

nog zichtbaar en zou je de randen van het beeld zien, wat niet de bedoeling is.

2.1.4.2 Vissen

De vissen die oorspronkelijk werden aangekocht samen met het aquarium van 120

liter, waren 4 sluierstaartvissen. Deze zijn helaas om nog onbekende redenen

allemaal vroegtijdig gestorven. Na het rouwproces werd gekozen om kleinere,

warmwatervissen in het aquarium te stoppen. Het gaat om 3 Black Molly’s, en 3

witte Molly’s. Dit zijn over het algemeen sterke vissen die tot op de dag dat dit

geschreven werd nog steeds vrolijk rondzwemmen.

Het transport van het aquarium was het grootste logistieke probleem. Zowel het

zware aquarium als de inhoud ervan moesten een reis van 80 km maken. Het was

belangrijk om zoveel mogelijk oorspronkelijk water mee te nemen, om de vissen in

leven te houden na het transport. Bij het volledig opnieuw vullen van een aquarium

zijn er nog te veel schadelijke stoffen aanwezig in het water. Een bijkomend




probleem was dat het lokaal zich op de tweede verdieping van het schoolgebouw

bevond.

2.1.5 Vorm – Beelden

Bij het volgen van talloze tutorials werden een hele hoop testbeelden gemaakt. Ook

werd vaak geëxperimenteerd met eigen gemaakte netwerken binnen Touchdesigner.

Vooral particle systems, feedback loops en instancing bleken zeer interessant om

verder op in te gaan. Er moest altijd rekening gehouden worden met het finaal doel:

een beeld creëeren dat praktisch nooit hetzelfde is. De vissen zijn zwart of wit en de

kleuren van de beelden werden uiteindelijk ook greyscale om overeen te stemmen.

Hier volgen enkele stills van video die gemaakt werd als tests voor deze

bachelorproef. Alle beelden zijn gemaakt met behulp van touchdesigner en zonder

post-processing. Er dient hier benadrukt te worden dat al deze voorbeelden

bewegende video’s waren die constant evolueerden.




2.1.6 Audio

Om verschillende redenen werd geopteerd om een soort van techno muziek te

creëeren. Dit omdat techno bestaat uit een hele hoop repetities. Dit staat symbool

voor het doelloos rondzwemmen van de vissen in het beperkende aquarium. Bij het

probleem om ‘eindeloze’muziek te maken, kwamen heel wat vragen boven. Het

moest vooral muziek zijn die nooit stilstaat, wat techno zeker een geschikte

kandidaat maakt. Aangezien deze opstelling bedoeld is om 24 uur per dag te draaien,

is praktisch elk ander groot genre van muziek geen optie. Echter kwam ik onlangs op

een project van de nederlander Matthijs Munnik. Hij won de ‘Prix Cube’, een

wedstrijd die wordt gehouden met als thema digitale kunst. Het project dat hij

hiervoor instuurde was ‘Microscopic Opera’, waarin microscopische bacteriëen

via microscopen werden gemonitord en ‘opera’ brachten.

Een belangrijk punt bij de audio is dat de vissen niet volledig zelf beslissen wat voor

muziek er gemaakt wordt. Er zijn vooraf een hoop parameters (zoals de gebruikte

samples, instrumenten, tempo) bepaald. Toch zijn er genoeg elementen ingebouwd

zodat de muziek een eigen karakter kan krijgen. Meer hierover is terug te vinden in

het deel ‘Ableton Live’.




2.2 Productie

2.2.1 Touchdesigner

Om een touchdesigner-netwerk (en bijgevolg dit werkstuk) te begrijpen, is een zekere

basiskennis nodig. In deze korte samenvatting zullen enkele belangrijke begrippen

worden uitgelegd van de –naar mijn gevoel – belangrijkste zaken binnen

Touchdesigner. Er wordt namelijk gebruik gemaakt van verschillende

‘operators’die op hun beurt – en dit is waar Touchdesigner uitermate geniaal in

elkaar steekt – de bouwstenen vormen van de software zelf. Zaken als de klok in

Touchdesigner zijn volledig opgebouwd uit nodes en zelf de UI kun je volledig

aanpassen door diep te graven in de basis-containers die in ieder Touchdesigner-

project aanwezig zijn.

Om een netwerk op te bouwen wordt gebruik gemaakt van nodes of operators. Deze

nodes bevatten telkens nog een of meerdere pagina’s parameters. Afhankelijk van

het einddoel van het netwerk, kan gebruik gemaakt worden van 6 verschillende

soorten nodes (of een combinatie hiervan).

2.2.1.1 Operators in Touchdesigner

Er zijn 6 soorten operators beschikbaar in Touchdesigner. Deze hebben elk hun eigen

kleur wat handig is om overzicht te bewaren over grote netwerken. Er zijn CHOPs

(groen), TOPs (paars), SOPs (blauw), MATs (geel), DATs (roze) en COMPs (grijs).

CHOPs of Channel Operators zijn elementen die opgebouwd zijn uit ‘channels’

of ‘curves’. Deze channels bevatten dan op hun beurt ofwel constante data (bv.

‘0.34’) of bewegende data (bv. een LFO (Low Frequency Oscillator) of waveform

(en bij gevolg ook audio)).

Praktisch iedere CHOP heeft een input, waarbij het data krijgt van de vorige

operator, en een output. De CHOP zelf kan verschillende functies hebben. Ook OSC

en MIDI inputs worden met CHOPs gelezen. Om met de finale data iets te doen,

kunnen deze channels worden geëxporteerd (dit wordt ook wel ‘referencing’

genoemd). Zo kan een kanaal bijvoorbeeld de x-schaal van een afbeelding

controleren. Enkele belangrijke CHOPs zijn:

Constant CHOP: heeft 1 vaste waarde per channel




LFO CHOP: genereert low frequency oscillators in de vorm van Sines, Squares,

Triangles of andere.

Math CHOP: doet wiskundige berekeningen op de input-data.

TOPs of Texture Operators zijn 2D grafische elementen. Ze kunnen zowel

afbeeldingen als video behandelen. Deze operators worden gebruikt bij de

compositing en de manipulatie van beelden. De belangrijkste TOPs zijn hierbij:

Constant TOP: genereert een vlak van controleerbare afmetingen, kleur en alpha-

waarde.

Movie File In TOP: bevat afbeeldingen of video.

Ramp TOP: creëert een gradient vlak.

Transform TOP: vervormt het input-beeld met basis-operaties als schaal, rotatie en

positie.

Render TOP: rendert 3D-objecten (SOP’s, geometry’s, camera’s en lights).

Composite TOP: heeft verschillende inputs, handelt als blend mode van deze

inputs.

Feedback TOP: genereert feedback-effecten aan de hand van de input-beelden.

SOPs of Surface Operators zijn operatoren die geometrie behandelen. Er kunnen

zowel 3D-modellen worden geïmporteerd als gegenereerd. Hier kunnen nadien

verschillende operaties op worden uitgevoerd. De belangrijkste SOPs zijn:

Circle SOP, Rectangle SOP en Line SOP: genereren achtereenvolgens een cirkel,

een vierhoek of een lijn in de ruimte.

Sphere SOP, Box SOP, Torus SOP: genereren achtereenvolgens een bol, balk of

torus in de ruimte.

Transform SOP: lijkt sterk op de Transform TOP, maar kan in drie dimensies deze

handelingen uitvoeren.

Noise SOP: kijkt naar de input-points en vervormt deze willekeurig.

Particle SOP: zet een particle-systeem op en genereert particles op de plaatsen van

de input-points.

Force SOP: kan gebruikt worden bij particles om hierop krachten te simuleren.

MATs of materials worden gebruikt om geometrie materialen te geven. Er zijn

verschillende soorten materials beschikbaar, waarvan de meest gebruikte hieronder

opgelijst staan:

Constant MAT: geeft een constant vlak kleur aan de geometrie. Geen schaduwen.

GLSL MAT: maakt gebruik van GLSL shaders (Pixel en Vertex shaders).

Phong MAT: geavanceerd materiaal dat kan gebruik maken van color maps, bump




maps en specular maps. Daarnaast worden ook schaduwen en reflecties ondersteunt.

Point Sprite MAT: wordt hoofdzakelijk gebruikt bij particle systems.

Wireframe MAT: rendert een wireframe-structuur van de geometrie.

DATs of Data operators behandelen logischerwijze text data. Dit kan in de vorm van

scripts, XML en tabellen. De belangrijkste DATs zijn:

Text DAT: een blok dat kan worden vergeleken met een zeer basis kladblok in

Windows.

Table DAT: een eenvoudige tabel

CHOP Execute DAT: een dat die operaties uitvoert bij het veranderen van een

vooraf ingestelde CHOP. Heeft expressies als offToOn en whileOn als basis.

OSC In DAT: ontvangt data via Open Sound Control.

Web DAT: haalt een volledige webpagina in HTML van een vooraf ingestelde link.

Enkele zeer belangerijke operators die werden overgeslaan zijn operators die data

omzetten van de ene soort operator naar de andere. Dit zijn zeer handige operators,

die uitvoerig gebruikt worden:

TOP to CHOP (en CHOP to TOP): leest per pixel afzonderlijk de r,g,b en a-waarde

en deze worden in hun eigen kanaal omgezet. De CHOP to TOP doet het

omgekeerde.

SOP to CHOP (en CHOP to SOP): maakt drie kanalen, tx ty en tz om van elk punt

de positie in de ruimte te kunnen achterhalen. Bevat evenveel samples als er punten

zijn in de geometrie. Werkt ook omgekeerd onder de vorm van CHOP to SOP.

DAT to CHOP (en CHOP to DAT): creëert channels aan de hand van een DAT-

input. De CHOP to DAT genereert een tabel met alle waarden van de kanalen.

Naast deze operators zijn er ook nog verschillende ‘components’ beschikbaar. Het

zijn elementen die een eigen netwerk bevatten. Deze zijn onderverdeeld in drie

categorieën:

3D Objects:

Camera: een 3D object dat als camera dient.

Geometry: bevat geometrie, zoals SOP-netwerken.

Light: handelt als de belichting voor de scene.

Panels:

Button: een knop die kan getoggled of ingedrukt worden.

Container: heeft enkel als functie een netwerk te bevatten.

Slider: een slider die kan worden bewogen om een CHOP aan te sturen.

Other:




Animation: bevat een animatie opgebouwd uit keyframes.

Window: nodig om projecties mogelijk te maken, handelt dus de uiteindelijke output.

2.2.1.2 3D basis-setup in Touchdesigner

Om 3D elementen te kunnen renderen, zijn er verschillende zaken nodig. Eerst en

vooral heb je geometrie nodig die aan de hand van SOPs is opgebouwd. Deze steekt

in een Geometry Comp, die op zijn beurt wordt vergezeld door zowel een Camera

Comp als een Light Comp. Om het object dan te kunnen zien is er uiteraard ook een

materiaal nodig met een eventuele color map. Daarna wordt dit alles samengebracht

via een Render TOP. Hieronder een eenvoudig netwerk die deze zaken bevat (in de

Geometry Comp, die centraal staat en de naam geo1 heeft, zit een Sphere SOP).




2.2.1.3 Mapping

De website van Derivative bevat een handig forum, waar verschillende

Touchdesigner-files worden geshared door mensen uit de community. Enkele van

deze projecten handelen als een soort van Plug-In binnen een touchdesigner-

bestand. Een van deze plugins heeft de naam CamSchnappr en is een handige tool bij

3D-mapping. Het vraagt een input-SOP, Render TOP en Camera Comp. De SOP-

geometry die als input gebruikt wordt, is een 3D-model van het object waarop

gemapt zal worden. Dit 3D-model van mijn opstelling werd gemaakt in Blender.

Nadat alle inputs zijn ingesteld, moet je handmatig punten selecteren,

achtereenvolgens vanop je model en op de projectie zelf. Nadat je minimum 4 punten

hebt geselecteerd, berekent deze plug-in hoe je ‘camera’(in dit geval dus de

projector die wordt gebruikt)

staat ten opzichte van het

object. Deze plug-in werd al

in actie afgebeeld in dit

dossier bij het punt

‘Proefopstelling –

locatie’en kan ook in de

‘making-of’worden gespot.

Hiernaast nog een foto van de

mapping die gebeurde op het

finale object in zijn

uiteindelijke positie.

Verder was een belangrijk punt qua mapping ook de UV-mapping van het 3D-object

in blender. Hiervoor werden de vormen opgedeeld en gespiegeld gemapt op een

afbeelding. Bij het exporteren van het bestand als .fbx-bestand werd deze informatie

meegenomen in Touchdesigner. Wanneer een color map werd toegevoegd aan het

materiaal van het object, stemde deze meteen af op de UV-mapping.

2.2.1.4 Finaal video-netwerk

De finale video-output is gebaseerd op verschillende technieken om de input-data

om te zetten in video.

Een eerste techniek is het controleren van de virtuele belichting op het object. De

twee light-components worden in de parameter-pagina aangepast naar cone-lights.

Hierdoor krijg je een soort spot-effect. Om de lichten te bewegen rondom het object,




zijn er 6 waarden nodig, 3 per licht aangezien het licht zich in een 3D-ruimte begeeft.

Omdat de input-data tussen 0 en schommelt, werd de data aangepast aan het bereik

van de light-components. Dit door middel van Math CHOPs die het bereik aanpassen

van de inputs. Vervolgens worden deze waardes gelinkt aan Null Chops (zie het punt

‘Good practices in Touchdesigner’) om uiteindelijk de referentie te leggen tussen

de waarden en de x-y-z positie van de light-components.

Door in de parameter-pagina aan te duiden dat het licht zichzelf steeds moet richten

naar een null-object (denkbeelding nulpunt centraal in de opstelling), hoeft er geen

rekening gehouden te worden met de rotatie van de light-components.

Een tweede techniek die gebruikt werd is een feedback loop. De feedback-loop is een

serie TOP’s die zich na de Render TOP bevinden. Door de output van de render

zowel te koppelen aan een Feedback TOP als een Composite TOP en vervolgens de

Feedback TOP ook te verbinden met die Composite TOP krijgen we – nadat we de

blend mode op ‘over’ gezet hebben – een interessant effect waarbij de beelden

zich op elkaar gaan leggen. Dit is het best voor te stellen met een punt dat zich in de

ruimte beweegt en via een feedback loop een lijn maakt. Omdat een constante

feedback loop het beeld uiteindelijk volledig wit zou maken is er nog nood aan

enkele effecten. Door een Level TOP tussen de Feedback en Composite TOP te

plaatsen, kunnen de waarden worden gecontroleerd die worden doorgegeven. In de

parameter-pagina zijn een hoop instellingen aan te passen om zo interessante

resultaten te verkrijgen. Elk van deze parameters kan worden gekoppeld aan input-

data door de vissen. Ook het experimenteren met Transform TOPs en Blur TOPs

geeft interessante resultaten. Hieronder een voorbeeld van zo’n netwerk gevolgd

door een voor-en na beeld.




Een derde techniek maakt gebruik van SOPs. Door een Sphere SOP te koppelen aan

een Noise SOP, krijgen we een constant bewegende bol (na het animeren van de

transformatie binnen de Noise SOP). Na de Noise SOP gaat het object over in een

Facet SOP die de normals berekent. Hierdoor krijgen we een zeer vloeiend object.

Dit object wordt uiteindelijk in een Geometry Comp geplaatst om de rendering te

realiseren.

Een vierde techniek is particle systems. Het systeem wordt als volgt op gezet:

De input-geometrie (hier een bol) zorgt voor de punten waaruit de particles zullen

vertrekken. Door een Sort SOP erna te plaatsen, kunnen de point-numbers worden

gehersorteerd, hier op een willekeurige manier. De Metaball SOP is nodig om de




Force SOP in te plaatsen. Het handelt hier als een soort ruimte waarin deze krachten

aanwezig zijn. De Force SOP zorgt voor krachten die worden toegepast op de

particles. De derde en laatste input van de Particle SOP is hier een ‘surface

attractor’. De particles worden aangetrokken tot de geometrie die zich in deze

input bevindt. Hier is dit een 3D-model van het fysieke object van de installatie.

Door controle van verschillende parameters kunnen particles zich als vuurvliegjes op

de randen van de opstelling gaan plaatsen, of net verdwijnen bij het aanraken van

het model. Om de particles te renderen is een Point Sprite MAT nodig. De Ramp

TOP zorgt voor de color map, hier een eenvoudige witte bol. Door in de parameter-

pagina van het materiaal ‘blending transparency’aan te vinken en tegelijk

‘depth test’ uit te schakelen, wordt enkel de bol gerenderd, en niet de zwarte

randen (die het alfakanaal vormen).

De laatste techniek die in dit eindverslag besproken zal worden en gebruikt werd bij

de beelden, is ‘Instancing’. Het principe bij instancing is dat een input-geometry

wordt herhaald op bepaalde punten. Door bijvoorbeeld, zoals hieronder, een Sphere

SOP om te zetten naar een tabel via een SOP To DAT, krijgen we op elk punt van

die bol een instance van de kubus te zien. Door de data in de tabel om te vormen met

behulp van input-data van de vissen, krijgen we steeds unieke plaatsen waar de

kubussen zich bevinden.

Om de bovenkant, die moeilijk bereikbaar was met de projector, te benutten, werd

besloten het volledig vlak op te lichten op de maat van de muziek (wanneer de

kickdrum speelt). De projectie zelf kan niet worden gezien, maar de reflecties op het

plafond geven een gevoel van ritme mee aan het object.




2.2.1.5 Good practices in Touchdesigner

Om een Touchdesigner-netwerk overzichtelijk te houden, worden best enkele regels

gerespecteerd. Een netwerk dat netjes en in partities is opgebouwd, is aangenamer

om mee te werken en handiger om later op terug te keren.

Een eerste good practice is het gebruik van containers. Binnen een Touchdesigner

netwerk kunnen veel verschillende functionaliteiten zitten. Bij het netwerk waarop

deze opstelling draait, is er bijvoorbeeld ruimte nodig voor audio, video en tracking-

data. Er werd dus begonnen met een container aan te maken met de naam

‘Input_CCV’. Hierin gebeurt alle formatting van de data die via OSC binnenkomt.

De outputs van deze container lopen via de container ‘Creating More Data’naar

zowel de Video-container als de Audio-container. Op die manier kan er snel worden

genavigeerd binnen het netwerk.

Aansluitend hierbij is naamgeving ook zeer belangrijk. Vooral voor containers, maar

ook voor operators en – in het geval van CHOPs – hun bijhorende channels.

Het gebruik van Python is een handig element om meerdere operators om te vormen

naar een DAT waar expressies worden geschreven. Via de textport en het print()

commando kunnen snel fouten worden opgespoord in de code. Een grondige kennis

van Python is hier een zeer groot pluspunt. De referenties die gemaakt worden met

CHOP channels, kun je evengoed verslepen. Op de plaats waar dan die data wordt

aangepast, zie je de Python-code die zelf wordt gegenereerd. Om soepelere systemen

te maken die gemakkelijk kunnen worden vermenigvuldigd, is het echter handig zelf

deze expressies te schrijven en aan te passen.

Het organiseren volgens operator-type is een visueel sterk element om orde te

creëeren binnen het netwerk. Wanneer er een serie DATs wordt gebruikt om data te

formatten, worden deze best in een lijn geplaatst, van links naar rechts. Bij de

overgang tussen DAT en een ander soort operator, wordt er best afgeweken van die

lijn. Op deze manier worden groepen van operators snel herkend en kunnen

problemen efficiënt worden opgespoord.

Een laatste good practice bij elk soort operators is het gebruk van Nulls. Wanneer

bijvoorbeeld een CHOP een referentie legt, vertrekt deze best van een Null CHOP.

Als er nog aanpassingen moeten gebeuren nadien, kan dit gemakkelijk nog voor de

Null CHOP in het netwerk. Op die manier gaat de referentie niet verloren.




2.2.2 Hardware

Voor de hardware werd beroep gedaan op zowel eigen materiaal als uitleen-

apparatuur van Arteveldehogeschool.

De software wordt allemaal gedraait op 1 systeem, een BTO laptop met 16 gigabyte

ram en een GTX970 grafische kaart. De audio wordt aangestuurd met een U46XL

audio-interface, die het geluid via twee KRK Rokit 8’s in de ruimte brengt. De

video wordt geprojecteerd door een projector verbonden met de laptop.

Na tests met een Kinect om de tracking te realiseren via zowel IR als Depth-beelden,

bleek het water een probleem te vormen. Hierdoor werd geopteerd om met een

eenvoudige webcam te werken. De tracking gebeurt nu met een Trust webcam met als

resolutie 640x480 pixels.

2.2.3 Dataverwerking

2.2.3.1 OSC

OSC (Open Sound Control) is een protocol dat data kan sturen tussen software of

tussen verschillende apparaten. Het werd vooral gebruikt bij de proefopstelling,

waarbij drie laptops die elk Touchdesigner hadden draaien, te verbinden. Door een

netwerk op te zetten en de

OSC In en OSC Out CHOPS

juist in te stellen (aan de

hand van IP-adressen), kon

er een link gelegd worden

tussen verschillende

systemen met minimale

vertraging. Dit werd

uitvoerig getest bij de

proefopstelling (zie

afbeelding).

Naast deze toepassing werd het ook gebruikt bij het testen van de communicatie

tussen Touchdesigner en Reaktor. In de testfase werd gespeeld met een Leap Motion

Controller, die standaard wordt ondersteund in Touchdesigner. Leap Motion is een

klein apparaatje dat voor het toetsenbord kan liggen en handen kan tracken. Bij het




inpluggen van de Leap Motion krijg je een CHOP met verschillende channels die

overeenstemmen met de data van Leap Motion (bijvoorbeeld x-y en z-positie van je

linkerduim). Aan de hand van een relatief simpel netwerk kon er overgegaan worden

van deze CHOP op een OSC Out CHOP, die vervolgens Reaktor (software-

synthesizer) aanstuurde. Op die manier kon er een virtuele theremin gebouwd

worden.

Voor de tracking van de vissen wordt gebruik gemaakt van CCV. Ook deze data

wordt aan Touchdesigner doorgegeven via OSC. Via een OSC In DAT wordt het

volgende ingelezen:

/tuio/2Dcur "set" 4669 0.9790219 0.1153048 -0.005859375 0.5017223 0.007839946

/tuio/2Dcur "set" 4707 0.2714161 0.4347137 1.340485 0.6691818 0.0234099 /tuio/2Dcur

"set" 4761 0.4700173 0.1387627 3.694702 0.764637 0.05895305 /tuio/2Dcur "set" 4762

0.6451974 0.2038289 2.821228 0.5261269 0.04484167 /tuio/2Dcur "set" 4766 0.7842326

0.03265474 2.130844 0.9249544 0.03629589 /tuio/2Dcur "set" 4770 0.2262077

0.6172666 -0.1251297 0.2567139 0.004462284 /tuio/2Dcur "set" 4772 0.08958325

0.5195867 -0.1756687 0.1043549 0.003192606 /tuio/2Dcur "set" 4773 0.7370141

0.4772893 21.67844 -22.94403 0.4932115 /tuio/2Dcur "set" 4774 0.8254015 0.5838552

0.9696045 0.2994843 0.01585628 /tuio/2Dcur "set" 4775 0.5169457 0.4104486 2.353882

0.40802 0.03732786 /tuio/2Dcur "alive" 4669 4707 4761 4762 4766 4770 4772 4773 4774

4775 /tuio/2Dcur "fseq" 13566

Na deze data te formatten met behulp van enkele DAT operators, werd de informatie

al wat leesbaar:

4669 4707 4761 4762 4766 4770

0.9790219 0.2714161 0.4700173 0.6451974 0.7842326 0.2262077

0.1153048 0.4347137 0.1387627 0.2038289 0.03265474 0.6172666

-0.005859375 1.340485 3.694702 2.821228 2.130844 -

0.1251297

-0.5017223 0.6691818 0.764637 0.5261269 0.9249544 0.2567139

0.007839946 0.0234099 0.05895305 0.04484167 0.03629589

0.004462284

De eerste waarde in de kolom is het nummer van de blob in CCV. De twee waarden

die eronderliggen, zijn achtereenvolgens de X en Y waarde (dus de positie) van de




blob. Verder zijn er nog 2 velocity-vectors die de snelheid van de vis weergeeft, en

als laatste een motion-acceleration waarde, die de versnelling van de blob weergeeft.

Om plotse ‘drops’in de waarden tegen te gaan, wordt er gebruik gemaakt van

Filter CHOPs. Wanneer een x-waarde dus plots van 0.7 naar 0 gaat (omdat CCV de

vis even niet meer kan vinden), gaat de waarde langzaam van 0.7 naar 0, in

tegenstelling tot de bruuske stop die het anders zou maken. Aangezien de vis snel

teruggevonden kan worden, zakt deze waarde idealiter nooit naar 0, maar wordt hij

bij 0.6 al terug opgepikt. Het volledige netwerk om alle data uit CCV te verwerken en

te ‘smoothen’ziet er als volgt uit:

Verder wordt nog een hoop data aangemaakt. Dit door middel van netwerken die van

een vis berekenen wat de gemiddelde x- en y-waarde is over 1 minuut, 3 minuten en 5

minuten. Daarnaast worden ook over 1, 3 en 5 minuten berekent wat de minimum en

maximum x- en y-waardes zijn.

Om de afstanden tussen de individuele vissen te berekenen, werd gebruik gemaakt

van een formule omgezet in python. Om bijvoorbeeld de afstand te berekenen tussen

vis 1 en 2 werd volgende formule aangewend:

math.sqrt(math.pow((op('Posities')[2]-op('Posities')[0]), 2)+math.pow((op('Posities')[3]-op('Posities')[1]), 2))




Op die manier werden in totaal 158 unieke channels gemaakt die real-time evolueren.

Het netwerk dat dit mogelijk maakt is het volgende:

Binnenin iedere operator die hier zwart kleurt (en een container is) is telkens het

volgende netwerk aanwezig:




Verder werd nog een Max MSP plug-in

(‘AudioToOsc’) toegevoegd in Ableton Live, die

OSC-data verstuurt gebaseerd op de ‘VU-meter’van

een kanaal in Ableton Live. Dit om enkele visuals aan

te sturen.

Ook wordt er OSC gebruikt in de TouchDesignerSync

plug-in in Ableton Live. Hierover later meer in het onderdeel Ableton Live.

2.2.3.2 MIDI

De data-communicatie tussen Touchdesigner en Ableton Live verloopt via MIDI.

Omdat het hier over twee softwarepaketten gaat, kon er geen fysieke connectie

gemaakt worden tussen de twee bestandsdelen. Er werd geopteerd om voor het

eenvoudige programma ‘LoopBE’ te kiezen, wat de verbinding tot stand brengt.

MIDI (Musical Instrument Digital Interface) is een digitaal systeem om real-time

audio-informatie te versturen. Het wordt hoofdzakelijk gebruikt om digitale

muziekinstrumenten aan te sturen. Ook kunnen MIDI-controllers via USB worden

verbonden met een computersysteem, om zo op een digitale manier muziek te maken.

Er zijn verschillende boodschappen beschikbaar bij MIDI. De enige commando’s

die worden gebruikt in dit project zijn Note-On, Note-Off en Control Change.

De MIDI-commando’s kunnen opgedeeld worden in twee verschillende soorten:

Note-commando’s zijn boodschappen die informatie over de noot bevatten en het

kanaal waarop dit wordt uitgestuurd.

Control Change-commando’s zijn boodschappen die faders controleren. Deze

waarden gaan dan van 1 (volledig dicht) naar 127 (volledig open).

Een midi commando versturen in Touchdesigner kan op twee manieren, die beiden

worden toegepast. Een eerste manier, via DATs en Python, wordt verder verklaard.

De tweede manier gaat als volgt en wordt onder andere gebruikt om de bass aan te

sturen.

Vooraleer MIDI functioneel is, moeten er enkele zaken worden ingesteld. In

Touchdesigner zit een ‘MIDI Device Mapper’. Hierin moet een nieuwe mapping

worden aangemaakt, met als ‘Out Device’LoopBE Internal MIDI.

Er zijn verschillende zaken nodig om een sequentie van noten te genereren. Eerst en

vooral hebben we de nootwaarden nodig. Via deze manier van werken zijn dit




waarden tussen 0 en 1, die later via de MIDI Out CHOP worden omgezet naar

waarden van 1 tot 127. Aangezien het netwerk zo is opgesteld dat de inputs (in dit

geval de x- en y- waarden van de vissen) al tussen 0 en 1 drijven, is dit ideaal. We

halen de data van 2 vissen op. Zo hebben we 4 waarden (2 keer x en 2 keer y) om mee

te spelen. Deze waarden worden in een Table DAT geplaatst.

Het tweede element dat we nodig hebben, is een Lookup CHOP. Deze CHOP

accepteert 2 inputs. De ene is de tabel met waarden die we reeds hebben. De tweede

input is een waarde die van 0 naar 1 gaat en op die manier doorheen de waarden in de

tabel gaat. Als we hieraan dus een LFO CHOP koppelen en het type op Ramp zetten

(dit wil zeggen dat de waarde van 0 naar 1 gaat en dan terug van 0 begint), hebben we

een constante schakeling tussen de 4 waarden. Door het verloop van deze CHOP te

koppelen aan de ‘beat’van de muziek, loopt de bass ook gelijk met drums en

dergelijke.

De Lookup CHOP heeft slechts 1 kanaal en dit bevat de huidige waarde van de noot

die moet worden gespeeld. Omdat het hier echter om de bass gaat, wordt de data nog

wat aangepast met een Math CHOP. Hierin stellen we dat waarden die van 0 naar 1

gaan eigenlijk maar tussen 0,2 en 0,3 moeten schommelen. Hierdoor krijgen we geen

te lage noten en blijven we laag genoeg om de klank niet te vervormen (onder de 0,3).

Deze waarde wordt via een omweg gekoppeld aan een MIDI Out CHOP. Deze omweg

is een Rename CHOP. Deze CHOP heeft als functie de naam van het channel te

veranderen. Deze wordt ‘ch3n’. Dit is noodzakelijk voor de MIDI Out CHOP.

Wanneer de uitdrukking ch3n gebruikt wordt, wordt de waarde van het channel

uitgestuurd op MIDI-channel 3. (Een andere mogelijkheid zou zijn

‘ch3n12’waarbij noot 12 wordt verstuurd op channel 3.) Door ch3n te gebruiken,

worden automatisch achtereenvolgens de noten gespeeld aan de hand van de waarde

van het channel.

Waar rekening mee moet worden gehouden, is de constante update van de input-

waarden (x en y van de vissen). Daarom is het veiliger een Hold CHOP te stoppen

nog voor het aanmaken van de tabel. De Hold CHOP houdt vast aan de waarden van

de eerste input totdat het een signaal krijgt van zijn tweede input dat deze waarden

mogen veranderen. De tweede input is dan een soort ‘Tick’, die om de x-aantal

‘bars’ een pulse uitstuurt.




2.2.3.3 Python

Touchdesigner is een software die ondertussen al 15 jaar bestaat. Waar vroeger T-

script werd gebruikt voor het coderen in Touchdesigner, is Python tegenwoordig de

taal waarin het programma ‘communiceert’.

Om gebruik te maken van alle mogelijkheden binnen Touchdesigner, is een

basiskennis van Python van belang. Na een hoop tutorials gevolgd te hebben, was ik

in staat een groot deel van de taken in code om te zetten. Touchdesigner is

opgebouwd om alle mogelijke voorwaarden met nodes te kunnen maken, maar soms is

een enkele expressie genoeg om een hoop nodes te vervangen.

Een uitstekend voorbeeld van het gebruik van Python is opnieuw te vinden bij de

communicatie tussen Touchdesigner en Ableton Live. Het gaat hier om het

aansturen van de drums.

Hier wordt gebruik gemaakt van slechts 1 waarde. Als voorbeeld nemen we hier de x-

positie van vis 1. Door een Select CHOP en Null CHOP te gebruiken, kunnen we

deze waarde zelfstandig beïnvloeden. De DAT waarin het volgende stuk code

geschreven staat, is een CHOP Execute DAT. Deze DAT luistert opnieuw naar een

‘Tick’waarde, die om het x-aantal bars een pulse genereert.

n = op('../midiout1') x = me.digits*10 z = op('clip1')[0] def offToOn(channel, sampleIndex, val, prev): if z<0.125: n.sendNoteOn(2, x) elif z<0.25: n.sendNoteOn(2, x+1) elif z<0.375: n.sendNoteOn(2, x+2) elif z<0.50: n.sendNoteOn(2, x+3) elif z<0.625: n.sendNoteOn(2, x+4) elif z<0.75: n.sendNoteOn(2, x+5) elif z<0.875: n.sendNoteOn(2, x+6) else: n.sendNoteOn(2, x+7) return def onToOff(channel, sampleIndex, val, prev):




n.sendNoteOff(2, x) n.sendNoteOff(2, x+1) n.sendNoteOff(2, x+2) n.sendNoteOff(2, x+3) n.sendNoteOff(2, x+4) n.sendNoteOff(2, x+5) n.sendNoteOff(2, x+6) n.sendNoteOff(2, x+7) return

Het eerste element binnen deze snippet is ‘n = op(‘../midiout1’)’. De variabele n

is nodig om de MIDI-informatie naartoe te sturen. De operator die zich een level

hoger bevindt dan deze expressie, genaamd midiout1, wordt geselecteerd als MIDI

output.

De variabele x krijgt de waarde ‘me.digits*10’. De naam van de CHOP Execute

DAT is ‘chopexec1’. Het me.digits-commando haalt de nummers op die zich in de

naam bevinden van die DAT. Hierbij is dit dus 1*10 = 10. Dit commando wordt

gebruikt om het eenvoudig te maken dit blok opnieuw te gebruiken met een andere x-

vis-waarde. Wanneer deze CHOP Execute DAT wordt gekopieert, krijgt deze

automatisch de naam ‘chopexec2’ wat x een unieke waarde van 20 zal geven.

De variabele z selecteert de huidige x-vis-waarde. Deze staat in een CHOP genaamd

‘clip1’en is het eerste en enige channel dat aanwezig is en bijgevolgd wordt

aangesproken door [0].

Het volgende deel van deze snippet wordt enkel uitgevoerd wanneer een pulse

ontvangen wordt van het ‘Tick’-signaal. Daarom wordt dit offToOn genoemd.

Er wordt gebruik gemaakt van een if-statement. De binnenkomende waarde (x-vis-

waarde) wordt door de structuur opgedeeld in 8 delen (0-0.125, 0.125-0.250, 0.250-

0.375 etc.). Wanneer deze waarde bijvoorbeeld 0.7885 is, wordt de volgende expressie

uitgestuurt: n.sendNoteOn(2, x+5). Dit stuurt dus note 15 (x+5) uit over channel 2. Er

werd gekozen om channel 2 voor te behouden voor drums.

Wanneer het ‘Tick’-signaal opnieuw naar 0 gaat, worden de statements onder

onToOff uitgevoerd. Hier wordt een sendNoteOff commando gestuurd op alle

mogelijkheden die bij de offToOn konden worden gekozen.

Wat er verder gebeurt met deze signalen wordt besproken in het onderdeel Ableton

Live.




2.2.4 Ableton Live

De software Live van Ableton wordt naar gewoonte met midi-controllers (zoals de

Push van Ableton) aangestuurd. Deze controllers bevatten dan verschillende

‘pads’en draaiknoppen of schuifknoppen. Hierdoor worden samples of clips

getriggerd. Aangezien het hier om een autonome opstelling gaat, wordt er dus geen

gebruik gemaakt van controllers. Wel van een virtuele MIDI-verbinding via LoopBe

Midi.

2.2.4.1 Drums

Via Touchdesigner, met behulp van Python, krijgt Live MIDI-signalen binnen.

Verder bouwend op het voorbeeld dat gegeven werd in het deel ‘Python’,

bekijken we nu wat er precies met deze data gebeurt.

Om de x-aantal bars krijgt Live achtereenvolgens 2 signalen binnen op MIDI-channel

2. Het eerste zal een specifieke NoteOn-signaal zijn, het tweede zullen 8 NoteOff-

signalen zijn. In dit voorbeeld worden dus 1 van 8 NoteOn-signalen verstuurd.

Afhankelijk van de input (en dus de positie van een van de vissen) is dit in

Touchdesigner note 10 tot en met 17. Dit komt overeen met de noten A-2, A#-2, B-2,

C-1, C#-1, D-1, D#-1 en E-1. Door middel van ‘MIDI-mapping’worden elk van

deze waarden afzonderlijk gelinkt aan 8 clips. Wanneer deze MIDI-mapping gebeurt

is, luistert Live naar inputs op MIDI-channel 2. Het zal steeds maar 1 van 8 NoteOn-

signalen ontvangen en vervolgens die clip ‘lanceren’. Doordat de 8 clips in Live

opgezet zijn als ‘radio-buttons’(slechts 1 kan actief zijn op elk moment), wordt de

vorige clip gestopt.

Om ‘willekeurige’muziek te creëeren, zijn er heel wat verschillende

mogelijkheden nodig. Bij de drums staat de positie van 4 vissen (en dus 8 waarden) in

voor alle drums. Bij de x-positie worden 8 mogelijkheden gegeven, bij de y-positie 4

(aangezien het aquarium breder is dan het hoog is). In totaal zijn er dus 4 waarden

met elk 8 mogelijkheden en 4 met 4 mogelijkheden. Via de productregel in de

wiskundetak combinatieleer kunnen we afleiden dat er maar liefst 1.048.576

mogelijke combinaties van clips zijn. Dit geeft een zeer kleine kans op repititie.

Samen met de Kickdrum, die apart wordt aangestuurd, verdubbelt dit aantal naar




2.097.152, aangezien de kickdrum ofwel speelt ofwel niet speelt. Dit alles nog voor

effecten worden toegepast.

2.2.4.2 Bass en andere synthesizers

De bass-synthesizer en andere synthesizers die werden geplaatst in Touchdesigner

wordt aangestuurd door MIDI-signalen zoals vooraf aangegeven. Door de

synchronisatie met Touchdesigner via TouchDesignerSync (zie verder) worden deze

noten mooi op het ritme gespeeld.

2.2.4.3 Effecten

Om de muziek nog extra dimensies te geven, worden verschillende effecten

aangestuurd door faders vanuit Touchdesigner. Deze faders worden gecontroleerd




door input-data van de vissen. Omdat een effect volledig opendraaien storend kan

werken, werd de data eerst omgevormd naar een ander bereik dan 0 tot 1. De

belangrijkste effecten die worden gebruikt zijn Delay (een soort echo) en Reverb

(waardoor een klank breder klinkt).

2.2.4.4 TouchDesignerSync

Naast het MIDI-contact tussen Touchdesigner en Ableton Live, werd gebruik

gemaakt van een plug-in die gemaakt werd door de mensen van Derivative zelf. Deze

plug-in werd geschreven in Max MSP en draait binnen Ableton Live. De plug-in

maakt contact via OSC met Touchdesigner, en staat in voor verschillende taken. Een

nadeel van deze plug-in is dat de meegeleverde Touchdesigner-file nog in T-Script

geschreven staat, wat ondertussen Python is geworden. Dit kon opgelost worden

door referenties te leggen tussen het bestaande netwerk en nieuwe netwerken.

De plugin werd geschreven met als hoofddoel het mogelijk maken om Touchdesigner

te controleren met Ableton Live. Er zijn verschillende draaiknoppen in Ableton Live

die kunnen gelinkt worden naar Touchdesigner. Touchdesigner op zijn beurt heeft

32 faders om elementen in Ableton Live te controleren. Verder zijn er ook controls

binnen Touchdesigner om clips te lanceren in Ableton Live. Dit werkte niet feilloos,

waarop een alternatief werd gezocht in de vorm van hoe de drums nu zijn opgezet.

Wat er wel wordt gebruikt in deze plug-in zijn de zogenaamde ‘transport-

controls’. Dit zijn een reeks getallen die onder andere het tempo (bpm), de huidige

beats, bars (per 4,8 en 16 bars) en het totaal aantal bars bevatten. Het tempo wordt

automatisch gelinkt aan dat van Touchdesigner. De bars worden gebruikt om zaken

te triggeren.

Naast de MIDI en OSC data die wordt uitgewisselt, worden via deze plug-in ook

twee audiokanalen doorgestuurd naar Touchdesigner. Dit kan handig zijn bij

Audioreactieve visuals. Beelden van de standaard TouchdesignerSync-file in

Ableton Live en de transport-controls in Touchdesigner kunnen hieronder worden

gevonden.




2.3 Post-productie

2.3.1 Time-lapse van het opstellen

Om het opstellen op beeld te bewaren, werd gebruik gemaakt van een GoPro om een

time-lapse te maken. De bedoeling hiervan was om het volledige proces van het

opzetten van de opstelling te kunnen vatten. Een aantal zaken waren echter vooraf al

voorbereid, zoals het snijden van de platen voor het object.

De video kan op volgende link worden bekeken:

https://vimeo.com/adridebe/053-makingof

2.3.2 Time-lapse van de installatie

Om aan te tonen dat de installatie werkt (en met werkt wordt bedoeld dat er steeds

unieke beelden worden gecreëerd over een lange tijdsperiode) werd om de 2 minuten

een beeld gemaakt van de opstelling. Het resultaat werd in een video gegoten en kan

hieronder worden geraadpleegd:

https://vimeo.com/adridebe/053-timelapse

2.3.3 Audio-capture

Om de muziek op te nemen die werd gemaakt door de vissen, kon gebruik gemaakt

worden van software op de laptop zelf. De audio-clip staat online op volgende link;

https://soundcloud.com/adridebe/0-53-audiosample

https://vimeo.com/adridebe/053-makingof

https://vimeo.com/adridebe/053-timelapse

https://soundcloud.com/adridebe/0-53-audiosample




3. Besluit

Toen ik dit idee voorlegde aan mijn promotor, werd er aandachtig naar mij

geluisterd. Het was een complex idee om uit te leggen. Naar het einde toe kreeg ik de

vraag: ‘hoe zullen die vissen gevisualiseerd worden?’. Tot op dat moment was het

nog niet duidelijk dat het hier over echte, levende vissen zou gaan. Toen ik dat

duidelijk maakte, was de verbaasde reactie van mijn promotor genoeg om een stuk

zelfzekerder te worden over het idee.

In deze bachelorproef heb ik ongelooflijk veel zaken bijgeleerd. Ook de zaken die

niet in dit werk vermeld staan of geen functie hebben binnen de finale opstelling, zijn

talrijk. In functie van deze bachelorproef heb ik wat leren programmeren in

Processing, maar ook in Chuck en Gibber, twee ‘audio-programmeertalen’.

Daarnaast heb ik talloze tutorials bekeken over specifieke software, maar ook

video’s van conferenties (zoals het KiKK festival) die nieuwe wegen openden.

Naast al deze zaken leerde ik ook werken met Touchdesigner, een softwarepakket

dat mij tot op deze dag nog steeds verbaast. Het is een tool geworden waarmee ik

zeer snel ideëen kan uitschetsen en gelijktijdig ook nieuwe zaken kan ontdekken.

Door de vele uren die werden gespendeerd aan het onderzoeken van deze software,

wijkte ik vaak af van het ‘finaal product’. Bij het bouwen aan het definitieve

Touchdesigner-netwerk, merkte ik echter dat mijn ervaring in deze software een zeer

groot voordeel bleek. Ik kon efficiënt data behandelen en werd zelden gelimiteerd

door de software en mijn kennis ervan.

Naast het Touchdesigner-deel leerde ik ook wat beter werken met Ableton Live,

MIDI, OSC en Python. Dit zijn zaken die zeker toepasselijk zijn in eventuele

volgende projecten.

Een tweede vraag die mij gesteld werd tijdens een tussentijdse presentatie, was wat

het nut was naar mijn persoonlijk toekomst toe en hoe dit project binnen een

portfolio zou passen. Ik ben er absoluut van overtuigd dat dit een ideaal werkstuk

was om mij te richten op ‘nieuwe’ technologieën. Heel wat zaken, zoals scripts,

komen vaak terug in andere software zoals After Effects en 3D-paketten. Verder zijn

interactieve installaties voor mij door deze bachelorproef een duidelijker concept

geworden waar ik graag verder mee zou experimenteren.




4. Bijlagen

4.1 Mindmaps




4.2 Moodboards




5. Bronnen

5.1 Literatuur -Holmes, T (2012) Electronic and Experimental Music: Technology, Music and

Culture. Routledge

-St. Jean, J, Kinect Hacks: Tips & Tools for Motion and Pattern Detection,

O’REILLY

-Christie, The Book Of Transformations: International Projection Mapping

Inspirations Featuring Christie Technology

-Nvoid Art-Tech Limited (2014) Introduction to TouchDesigner

-Shiffman, D, The Nature Of Code

-Lazzeroni, C (2009), Generative Design

5.2 Web

-tutorials Matthew Ragan:

https://www.youtube.com/user/raganmd

-tutorials op de site van Derivative:

https://www.derivative.ca

-project rond het tracken van goudvissen:

http://www.paulferragut.com/interactive-sculpture/

-derivative Touchdesigner en Python wiki:

http://www.derivative.ca/wiki088/index.php?title=Main_Page

-show ISAM (Amon Tobin):

http://www.derivative.ca/Events/2011/AmonTobinVSquared/

-Imogen Heap – Musical Gloves:

https://www.youtube.com/watch?v=6btFObRRD9k

https://www.youtube.com/user/raganmd

https://www.derivative.ca/

http://www.paulferragut.com/interactive-sculpture/

http://www.derivative.ca/wiki088/index.php?title=Main_Page

http://www.derivative.ca/Events/2011/AmonTobinVSquared/

https://www.youtube.com/watch?v=6btFObRRD9k




6. Logboek Datum Onderwerp Beginuur Einduur Duur

23/10/2014 Gesprek met Kristof Raes en

Kristof Toppets over software

en hardware-mogelijkheden

15:00 15:30 0:30

23/10/2014 Mindmap maken, brainstormen,

software installeren en testen

17:30 18:45 1:15

24/10/2014 Mindmap bijwerken 14:00 14:30 0:30

26/10/2014 Mindmap bijwerken,

uitproberen Rouge

21:00 22:00 1:00

28/10/2014 Mindmap bijwerken, vimeo

videos kijken

15:00 18:00 3:00

30/10/2014 Bezoek stagementor, mini-

brainstorm

17:00 17:30 0:30

5/11/2014 Gesprek met Kristof Raes over

Kinect op school en meerdere

beamers aansluiten op één

systeem

15:45 16:00 0:15

5/11/2014 Test Touchdesigner: Webcam,

Motiontracking, Filters, Nodes

in algemeen

22:00 23:00 1:00

6/11/2014 Onderzoek naar verschillende

software (resolume, Nuke,

Spectrum OSC VST, Spout,

Isadora)

19:00 21:00 2:00

7/11/2014 Inspiratie-video's bekijken op

vimeo

18:00 20:30 2:30

8/11/2014 TUTORIAL touchdesigner

(SOP to TOP/DAT/CHOP,

geometry, rendering, shaders,

light)

21:00 23:30 2:30


(cinechamber, rendering,

tracking)

14:00 15:30 1:30


(video playback)

16:30 18:00 1:30

11/11/2014 Boek Form+Code lezen, p.1 tot

79

13:00 18:00 5:00

12/11/2014 Bekijken KIKK(the state of

play)-videos (inspiratie)

12:00 19:30 7:30

13/11/2014 Maken Mindmip Goldfish-idee 13:30 14:00 0:30




14/11/2014 Test Touchdesigner: maken

virtuele visbokaal & variabelen

voor project fold gish

14:00 15:30 1:30

14/11/2014 Boek Form+Code lezen, p.80 -

einde

21:00 23:00 2:00

18/11/2014 Test CCV + Touchdesigner

(blob tracking)

20:00 22:00 2:00


(audio, particles, animation)

16:30 17:30 1:00

28/11/2014 Test LEAP motion controller,

LEAP motion controller +

touchdesigner

18:00 20:00 2:00


(events, instancing)

18:00 19:00 1:00

2/12/2014 Test touchdesigner TOP OP's

(photoshop, render, over, ...)

19:30 20:15 0:45

3/12/2014 Boek The Book of

Transformations lezen, p. 1 - 43

11:00 12:00 1:00

3/12/2014 Boek The Book of

Transformations lezen, p. 44 -

einde

22:30 23:00 0:30

8/12/2014 Mindmap bijwerken, testen

DAT OP's, onderzoek

informatie vanop web

binnenladen

22:29 23:59 1:30

9/12/2014 Boek An Introduction to

Touchdesigner lezen, p. 1 - 45

0:00 2:00 2:00

10/12/2014 Onderzoek visuals waves, stijl,

concept

14:00 15:00 1:00

17/12/2014 Onderzoek visuals,

moodboard(s), software, code

14:00 17:30 3:30

17/12/2014 Planning, moodboards 21:00 23:30 2:30

18/12/2014 Boek An Introduction to

Touchdesigner lezen, p. 45 - 80

9:00 11:00 2:00

6/01/2015 Onderzoek/tutorials

Processing

14:00 18:00 4:00

7/01/2015 Tutorials Processing 17:00 19:00 2:00

12/01/2015 Materiaal naar lokaal A22,

testen projectors, leeghalen

lokaal

9:30 14:00 4:30

13/01/2015 Installeren software op

laptops, testen projectors

15:15 17:00 1:45




14/01/2015 Testen netwerken, nieuwe

laptop (met dank aan Kristof

Raes), 3 touchdesigners

verbinden, test webcam, test

blob tracking, test projectors

10:40 16:30 5:50

15/01/2015 Tutorials Touchdesigner

mapping (kantanmapper,

camschnapper), maken vormen

14:00 18:00 4:00

16/01/2015 Bedenken vorm opstelling 19:00 21:00 2:00

17/01/2015 Tests en tutorials Gibber 13:00 18:00 5:00

19/01/2015 Maken vorm opstelling (3D,

schetsen)

15:00 16:00 1:00

20/01/2015 Fysiek maken opstelling karton

(deel 1)

13:30 18:30 5:00


(deel 2)

13:00 16:00 3:00

21/01/2015 Maken tussentijdse

presentatie, poster

18:00 23:30 5:30

25/01/2015 Documentatie over GLSL

opzoeken, tutorials bekijken

13:00 15:00 2:00

26/01/2015 3D model maken, verder

werken fysieke opstelling (deel

3), kinect testing

14:00 18:00 4:00


(deel 4), kinect testing, test

mapping touchdesigner, test

projecties, opzetten opstelling

14:00 19:00 5:00

28/01/2015 Tutorials touchdesigner

particles, web dat, feedback

top, over top

20:00 23:00 3:00

29/01/2015 Touchdesigner mapping, osc

communicatie, particles,

particle attractor

13:30 18:30 5:00


(deel 5), testing projectie

13:00 19:00 6:00


(deel 6), testing projectie,

netwerken

14:30 19:15 4:45


(deel 7), testing projecties,

camera's

13:30 19:00 5:30

6/02/2015 Opruimen lokaal, afbreken

opstelling

15:00 18:00 3:00

21/02/2015 Afhalen en opstarten aquarium 14:30 19:30 5:00




27/02/2015 Tests touchdesigner

(instancing, tabledata)

16:30 19:30 3:00

28/02/2015 Tests webcam & kinect

aquarium

22:00 23:00 1:00

9/03/2015 Freestyling TouchDesigner 19:00 22:00 3:00

12/03/2015 Tracking TD, Freestyling 17:00 23:00 6:00


17/03/2015 Onderzoek MIDI in TD,

freestyling, tutorials kijken

14:00 22:00 8:00

27/03/2015 testen tracking TD via levels,

top to chops

15:00 19:00 4:00

28/03/2015 link TD - Reaktor via MIDI

succesvol testen

18:00 22:00 4:00


4/04/2015 Uittekenen verstevigingen

hout, zagen

15:00 16:30 1:30

14/04/2015 MIDI in TD, Tscript & python

commands setup, Massive,

Reaktor

19:00 22:00 3:00

15/04 -

25/04/2015

Tutorials Matthew Ragan,

generative design, replicators,

vj set-up, scripts, audio

analysis,control panels, multi

process communication

0:00 22:00 22:00

22/04/2015 Materiaal aankleding lokaal

zoeken

14:00 16:00 2:00

23/04/2015 touchdesigner tests &

freestyle

18:00 23:00 5:00

27/05/2015 Setup Ableton Live - TD Sync 18:00 23:00 5:00

28/05/2015 MIDI & Python 14:00 18:00 4:00

31/05/2015 Tracking met CCV testen 18:00 20:00 2:00

3/06/2015 Opzetten formatting data CCV

in Touchdesigner

14:00 18:00 4:00

5/06/2015 Data vermenigvuldigen in

Touchdesigner,

Min/Max/gemiddelde

12:00 14:00 2:00

6/06/2015 Teste TouchDesignerSync &

Ableton Live

12:00 18:00 6:00

7/06/2015 Opzetten MIDI systeem

Touchdesigner - Ableton Live

9:00 12:00 3:00

7/06/2015 Opzetten MIDI via Python 13:00 15:00 2:00

8/06/2015 Verzamelen materiaal voor

opstelling

13:00 18:00 5:00




9/06/2015 Visuele ideëen uitwerken in

Touchdesigner

9:00 17:00 8:00

10/06/2015 Schrijven dossier 9:00 23:00 14:00

11/06/2015 Klaarzetten materiaal op

school, afwerken dossier,

maken poster

11:00 23:00 12:00

12/06/2015 Lokaal inrichten, opstelling

opbouwen, aquarium vervoeren

8:00 19:30 11:30

13/06/2015 Afwerken audio, afwerken

video, dossier

13:00 20:00 7:00

14/06/2015 Afwerken audio 13:00 18:00 5:00

15/05/2015 Lokaal afwerken, tests 9:00 18:00 9:00

Totaal: 310:05

Bachelorproef Structuur proDE/proDUCE - 2014-2015.docx

Documents

Transcript of Bachelorproef Structuur proDE/proDUCE - 2014-2015.docx