I'M CURRENTLY LOOKING FOR AN INTERNSHIP 💌
Abstraction
Bij de opdracht Abstraction was de bedoeling dat ik een audiovisuele installatie maken waarin beeld en geluid samenkomen, zonder gebruik van tekst. Het werk moest gebaseerd zijn op een concept, een duidelijk verhaal overbrengen en fysieke objecten meenemen in de installatie.
Voor mij betekende abstraction niet dat iets alleen vaag moest zijn. Er moest ook ruimte ontstaan voor meerdere interpretaties. Ik wilde niet gewoon een uitleg hebben maar juist een ervaring. Ik wist al snel dat ik iets interactiefs wilde maken, iets dat reageert op de bezoeker. Dit wilde ik maken door een soort systeem te creëren waar je als gebruiker onderdeel van wordt.
Role
Touchdesigner, Projection mapper
Industry
Project installation
Concept
Iedereen weet dat overal waar je kijkt je AI tegenkomt. Als er iets wordt gemaakt en AI verandert het, van wie is het dan? Ik vind AI een interessant onderwerp omdat ik er in het tweede jaar van CMD door Levien Norman vaak les over heb gehad. Zo kwam ik erachter dat ik moest nadenken over de ethische consequenties bij je ontwerp, zoals een data bias. Ook is de grote vraag als je iets met AI maakt, wat is dan van jezelf en wat is dan van de machine. We dachten toen na over wat het betekende voor ons.
Ik besloot dat ik een projection installatie wilde maken waarin iemand begint met iets heel normaal menselijks, namelijk een lijn tekenen. Iets dat voelt alsof het volledig door jezelf gedaan is. Maar zodra de AI begint te reageren, verandert die lijn. Soms zijn het kleine veranderingen, maar het kan ook jouw tekening bijna onherkenbaar maken. De installatie maakt daarmee zichtbaar waar jouw eigen controle ophoudt en waar gedeeld 'auteurschap' begint.
Concept: Dit project gaat over wat er gebeurt wanneer jij iets maakt en AI het meteen verandert. Door live te tekenen en de AI realtime te laten reageren, wordt zichtbaar dat het resultaat niet meer alleen een iemand is, maar iets dat je samen met dat systeem maakt. Hoe dat voelt, laat ik open voor de gebruiker.
Prototype, Iteratie & Installatie
Ik begon met TouchDesigner, omdat ik eerder al had gewerkt met Madmapper en daarbij merkte ik dat bepaalde creatieve keuzes moeilijker werden door de interface en hoe het programma in elkaar zat. TouchDesigner voelde eerst echt heel lastig en overweldigend. Ik vond het lastig er een begin aan te maken en ik stelde dit ook uit omdat ik het eng vond, zoveel functies en mogelijkheden. Het gaf wel meer vrijheid en paste beter bij mijn concept. Ik heb mij niet laten tegenhouden en ik ben begonnen.
Tijdens mijn onderzoek online ontdekte ik StreamDiffusion, een programma waarmee TouchDesigner realtime AI kan genereren. Dat was meteen iets wat ik interessant vond om te gebruiken. Het klonk perfect voor wat ik wilde doen, alleen het was totaal geen projectbestand dat je opent en direct kan gebruiken. Het is meer een onderdeel dat je zelf moet integreren in je eigen TouchDesigner-project. Je moet dus zelf de hele verbinding en setup bouwen. Het is eigenlijk een onderdeel die heel veel mogelijkheden heeft.
Ik heb ervoor gekozen om het aan mijn Ipad te connecten, door er een installatie omheen te bouwen doormiddel van uitleg hierover te volgen. Toen ik dat had gedaan, was het nog lang niet klaar. Het is gemaakt voor Windows met NVIDIA GPU’s. Ik werk zelf op een Macbook, wat niet een goede match is voor StreamDiffusion of Touchdesigner. Ik heb veel moeten oplossen en aanpassen, zoals Python-versies terugzetten, numpy conflicten oplossen en allerlei libraries handmatig installeren via Terminal. Doordat ik een Mac heb moest ik het ook op 'DayDream' runnen, wat een soort iCloud is dat werkt als een 'host'. Dan draait hij niet op je GPU, wat StreamDiffusion ook niet toelaat bij Mac.
Soms werkte het niet meer en dacht ik serieus dat ik moest stoppen met dit en iets anders moest kiezen. Op een bepaald moment liep ik vast en heb ik contact gezocht met Dotsimulate, de maker van StreamDiffusion via Discord. Na overleg heb ik gewacht tot de volgende dag en kon mijn laptop opeens veel beter verbinden met Daydream. Ik had niet echt last meer van dat hij connectie verloor.
Uiteindelijk kon ik via Daydream een verbinding moest maken tussen mijn iPad en TouchDesigner, zodat de tekening realtime vertaald kon worden naar AI-output. De app die je dan gebruikt op de Ipad heet Tagtool. Toen het systeem eindelijk werkte, reageerde het live op wat ik tekende. De AI-output bleef beperkt tot 512×512 pixels omdat Mac geen NVIDIA-upscaler ondersteunt. Dit besloot ik te accepteren. Het ging niet meer om technische perfectie. Voor mij ging het nu om de interactie en de betekenis van mijn project.
Feedback
Tijdens het verzamelen van feedback kwam naar voren dat het juist sterk was dat de installatie begint met iets heel fysieks en simpels zoals pen en papier, en daarna meteen overgaat in het digitale. Ik twijfelde eerst of al die tekenspullen er rommelig uitzagen. Het werd omschreven als menselijk en passend. Ik zag in dat het de ruimte karakter geeft. Ook werd benoemd dat de interactie goed werkt want je kijkt niet alleen naar het werk, je doet mee en je beïnvloedt het resultaat. Dat maakte voor anderen duidelijk dat het niet alleen om de visuals ging, maar om het proces ertussen.
De resolutie was iets waar ik zelf eerst het meest mee zat. Er werd tegen mij gezegd dat het echt ging om het concept en de ervaring en niet om technische perfectie. Ook hoorde ik dat het project abstract mocht blijven en dat ik niet alles hoefde uit te leggen en de betekenis voor mezelf te groot te maken. Dat past goed bij het werk en bij de keuze om ruimte te laten voor interpretatie. Want het ging tenslotte om een abstracte visualisatie.
Hier zie je mijn TouchDesigner workflow om StreamDiffusion werkend te krijgen. Rechts zie je hoe het eruitziet wanneer het live reageert, inclusief de promptfunctie. Links onderin staat de originele basis, zoals je het krijgt wanneer je alleen het .tox-bestand downloadt. Dat laat het verschil zien met de uiteindelijke setup.
Reflectie
Dit project was voor mij echt een sprong in het diepe. Ik had nog nooit TouchDesigner gebruikt. Ik kwam iets heel interessants tegen en ik wilde dat gewoon heel graag laten werken. Als ik iets graag wil, dan zet ik mijn tanden erin vast en dan ga ik door. Ik moest accepteren dat dingen fout konden gaan, dat iets soms niet werkte, en dat ik niet alles volledig kon controleren. Dat is ook iets wat abstraction mij heeft geleerd.
De betekenis staat niet altijd vast. Soms is het proces ook heel waardevol en weegt dat meer dan zon perfecte uitkomst in de beste resolutie.
Ik ben trots dat ik dit werkend heb gekregen. Dat is niet omdat het foutloos is. Ik heb doorgezet, getest, opnieuw begonnen, hulp gezocht en ik heb geleerd om los te laten. (Dat is soms ook niet makkelijk als designer)
Deze installatie laat zien dat creatie tegenwoordig steeds vaker iets gedeelds is, namelijk een samenwerking tussen mens en systeem. Wat dat betekent of hoe dat voelt, is aan de kijker zelf om te bepalen.