Ein interaktives System zur Soundgenerierung durch Bewegung im Raum
STUDIERENDE Céline SchmidtSEMESTER Wintersemester 2020/21ART DES PROJEKTS Individualprojekt I, Grundlagen zu Systemen, Strukturen + Interaktionsprozessen
Das Seminar vermittelt anhand von drei Arbeitsphasen die Basis für Verständnis und Gestaltung jedweden Systems. Zuerst wird ein bestehendes System dekonstruiert und analysiert, anschließend werden abstrakte Strukturen konstruiert und zuletzt wird eine Struktur oder Thematik in einer systematischen Darstellung realisiert.
1
In der ersten Phase setzte ich mich mit der westlichen musikalischen Notation auseinander. Zum einen konnte ich die inhaltlichen Zusammenhänge und Verbindungen charakterisieren und zum anderen ihre grafischen Komponenten dekonstruieren.
Die Basis der Symbole bilden Linie und Kreis in unterschiedlichen Stärken und Winkeln. Hinzu kommen verschiedene Arten von Bögen, die halbieren, vertiefen, verbinden können. Da alle Symbole eine ähnliche Formsprache sprechen, können sie letztendlich aus den variierten Formen von Kreis, Linie und Bogen zusammengesetzt werden. Zusätzlich bedient sich die Notation noch der bestehenden Systeme von Buchstaben und Zahlen.
Thematisch sind die Elemente in der Notation in zwei Dimensionen strukturiert – der Horizontalen für die Ordnung der Töne innerhalb der Zeit und der Vertikalen für die Ordnung der Tonhöhen. Darüber und darunter sind Dynamik und Artikulation gesondert notiert, da sie nur in Relation zu den anderen Zeichen fungieren. Die Pause stellt als Gegenpol der Note nur eine Dauer dar.
Ausgehend von den gewonnenen Erkenntnissen wollte ich der Intensität der Töne einen eigenen Raum geben. Hierzu experimentierte ich mit einer dritten Achse, die Artikulation und Dynamik in einer dreidimensionalen Notation beschreiben sollte.
In der erstellten Umgebung visualisierte ich die Töne mit einem Kern, um deren Zentrum zu definieren und einer Hülle, die verdeutlicht wie sich der Ton auf die drei Achsen ausdehnt. Als Beispiel verwendete ich das geläufige Anfangsmotiv von Beethovens fünfter Sinfonie.
2
Aus ersten Skizzen definierte ich nach einigen Variationen in Anordnung wie auch Regeln eine Struktur, die ein offenes System beschreibt. Sie hat drei verschiedene Elemente (A, B, C), die zueinander eingehende, ausgehende wie wechselseitige Verbindungen mit einem bestimmten Vermehrungsfaktor haben. Zudem beschäftigte ich mich damit, wie die einzelnen Elemente aussehen könnten, um ihre Funktion und Beziehungen intrinsisch zu vermitteln – von Ecken gehen Verbindungen aus, bei Kanten gehen sie ein oder sind wechselseitig.
3
Nach einer ausgiebigen Testphase entwarf ich das experimentelle, interaktive System com:pose. Es übersetzt die Bewegungen eines Körpers im Raum methodisch in Töne. Eine Kamera mit Tiefensensoren trackt die Gliedmaßen einer Person und sendet diese Daten in verschiedenen Kanälen an den PC. Hier übernimmt das Programm Touchdesigner sie und verwertet sie innerhalb des von mir erstellten Netzwerks. In diesem habe ich folgende (vereinfacht formulierte) Regeln festgeschrieben:
1. Sobald Körperteil x Geschwindigkeit y erreicht, wird Trigger z ausgelöst.
2. Je höher sich Körperteil x im Raum befindet, desto höher wird die ausgelöste Frequenz.
3. Je näher sich Körperteil x an der Kamera befindet, desto lauter wird die ausgelöste Frequenz abgespielt.
Dies wendete ich auf beide Hände, sowie die Hüfte an. Die Frequenzen werden nicht kontinuierlich höher und tiefer, sondern sind in acht bzw. fünf Tonstufen unterteilt. Mittels Audio Oscillator und Audio Filter sind die Töne vollständig digital generiert.
Damit Nutzer:innen sich nicht einfach selbst bei der Anwendung sehen und der Fokus deutlicher auf den Bewegungen der Gliedmaßen liegt, generierte ich ein skelettartiges Bild des Körpers aus zentrierten Punkten an den Gelenken. Sie hinterlassen einen farbigen Schweif, sodass vorige Posen nachvollzogen werden können, wenn es bei der Übertragung zu Verzögerungen kommt.
Das folgende Casevideo zeigt die Anwendung von com:pose.
