Split Sense
Voor mijn specialisatie in Sonic Interaction Design ontwikkelde ik samen met Lucas Veerkamp en Semuel Leijten een interactieve installatie waarin biometrische data – in dit geval het openen en sluiten van ogen – wordt vertaald naar een muzikale ervaring. De gebruiker schildert op een canvas, terwijl de installatie via camera’s en microfoons kleurinformatie en fysieke interactie registreert. Zodra de gebruiker zijn ogen sluit, wordt er een soundscape gegenereerd op basis van het gemaakte schilderij. (Vergeet niet de audio van de videos aan te zetten!)
Hierin vonden we veel mogelijkheden voor meditatieve doeleinden, en voor slechtziende of blinde gebruikers. Ook nodigt het uit om te schilderen met ogen dicht, om jezelf helemaal onder te dompelen in het expressionisme.
De installatie maakt gebruik van 2 camera’s; 1 gericht op de gebruiker om hun ogen te detecteren, en 1 gericht op het kunstwerk om de kleuren eruit te halen. Daarnaast zijn er 2 contactmicrofoons bevestigd aan de achterkant van het canvas, om op die manier ook direct geluid van de kwast op te vangen, en die stereo uit te zenden.
Semuel heeft in Python de code geschreven die detecteert of de gebruiker hun ogen open of dicht heeft. Samen met Lucas heb ik deze code geïmplementeerd in Max MSP, en de interactieve soundscape uitgedacht.
Met behulp van de cv.jit library hebben we een systeem opgezet die kleuren uit een afbeelding kan herkennen, en bijhoudt waar in het beeld de kleur voorkomt. Door de resolutie van de camera te verlagen naar een 10×10 grid, konden we de locatie op de XY-as gebruiken om verschillende dingen te doen met de audio. Zo kan de locatie op de Y-as invloed hebben op de toonhoogte van een piano, en kan het op de X-as invloed hebben op de snelheid waarop de toon wordt afgespeeld.
Ik ben erg blij hoe ons concept tot een uitwerking is gekomen. Dit idee kan nog zoveel kanten op gaan, dus we zijn langzaam bezig om het nog meer uit te breiden met meer klanken, meer kleuren en betere reactiviteit.
