Kann man Gefühle, die in Krisen aufkommen, in Musik umsetzen? Komponisten würden sagen: Ja. Sie haben es ja auch immer wieder getan. Dmitri Schostakowitsch zum Beispiel, der 1941 im von den Deutschen belagerten Leningrad seine Siebte Symphonie schrieb.

Aber diese Künstler taten das „nach Gefühl“, vor allem nach ihrem eigenen. Wie aber wäre es, wenn man mittels Künstlicher Intelligenz die vorherrschenden Krisen-Reaktionen der Internet- User in ganzen Regionen oder gar weltweit musikalisch hörbar machen könnte? Während der Corona-Pandemie? Im Ukraine-Krieg? Angesichts des Klimawandels?

Eine schwindelerregende Idee. Auf ihr beruht die Installation „Melody of Crisis“. Sie wird heuer auf dem Ars Electronica Festival (Motto: „Welcome to Planet B“) zu erleben sein. Der Rohstoff, mit dem dabei gearbeitet wird, sind Tweets. Sie werden mittels Algorithmus ausgewählt und mithilfe eines weiteren Algorithmus in Musik „übersetzt“. Gleich zu Beginn dieser Arbeit stand eine überraschende Erkenntnis: wie viele positive Gefühle sich in den Reaktionen auf solche Krisenereignisse finden.

Wie die Krise klingt

„Melody of Crisis/Joy“ ist einer von neun Beiträgen der Johannes Kepler Universität (JKU), die im September bei der Ars Electronica zu sehen sein werden. 2020 ist das Festival von der Post City auf den JKU Campus übersiedelt. Seitdem gibt es auch den sogenannten LIT-Call (LIT steht für das an der Uni angesiedelte Linz Institute of Technology). Hier können sich Institute und Studierende der Uni mit Projekten für die Teilnahme bewerben. Die Jury besteht aus Mitarbeiter*innen der JKU und des Ars Electronica Center.

„Wir wollten einen globalen audiovisuellen Atlas der Krisenereignisse weltweit zeichnen und davon, wie die Online-Nutzer darauf reagieren“, erzählt der Initiator von „Melody of Crisis“, Gregor Pechmann. Er arbeitet an der Uni als Social Media Manager und ist auch Projektkoordinator des Ars Electronica Festivals.

Wie kommt man überhaupt auf eine solche Idee? „Ich habe ein Auslandsjahr in Taiwan verbracht“, erzählt Pechmann. „Dort habe ich gemerkt, wie sehr das Chinesische von den Tönen, von der Intonation lebt. So habe ich begonnen, mich zu fragen, wie man die unterschiedlichen Töne einer Sprache in Musik umwandeln kann.“ Durch die Zusammenarbeit mit dem Institut für Computational Perception der Uni Linz habe er sich dann auch für die Erkennung von Emotionen durch Algorithmen interessiert, die in jeder Äußerung mitschwingen.

Allzu düster wird die „Melody of Crisis/Joy“-Weltkarte wohl nicht werden. „Wir haben erstaunlich viele positive Gefühle in den Reaktionen gefunden. Bei Covid gab es zum Beispiel die große Wertschätzung für die Krankenhausmitarbeiter* innen. Der neue Impfstoff wurde gefeiert oder man hat sich gefreut, dass die Zahlen wieder hinuntergehen.“ Das Gleiche gilt für Umweltkatastrophen. „Ein Waldbrand zum Beispiel kann einen neuen Aufruf der Zivilbevölkerung an die Regierenden auslösen, die Energiewende voranzutreiben.“ Überhaupt habe ihn verblüfft, „wie viel Positives eigentlich in der Welt passiere, wovon man als durchschnittlicher deutschsprachiger User kaum etwas erfährt, zum Beispiel Fortschritte bei der Behandlung von Krankheiten oder Erfolge bei humanitärer Hilfe.“

Pechmann und sein Team verwenden für ihr Projekt zwei Arten von Rohmaterial. Das eine sind Tweets. Sie werden von einem Algorithmus, der Twitter durchsucht, ausgewählt. Anschließend werden sie von Native Speakern der jeweiligen Landessprache eingelesen.

Das andere sind Klänge, die sie von Musizierenden der Bruckner Uni auf fünf unterschiedlichen Instrumenten einspielen lassen: sowohl fröhlich als auch traurig klingende sind darunter. Ein Algorithmus wird mit diesen Klängen trainiert. Am Schluss steht die „Verwandlung“ der jeweiligen Tweets in eine Melodie.

Diese Musik können die Besucher* innen dann auf der Landkarte hören, indem sie einzelne Punkte darauf anklicken. Nachdem sie das Stück gehört habe, können sie außerdem eingeben, ob sie das jeweilige musikalische „Statement“ als positiv oder negativ wahrnehmen. Ihre Interaktion beschränkt sich jedoch nicht auf ein paar Klicks. Es gibt auch noch ein Areal mit überdimensionalen Musikinstrumenten. Jedes davon ist auf der einen Seite mit Mikrofon, auf der anderen mit Lautsprecher versehen. Die Besucher*innen können nun selbst ein Statement ins Mikrofon sprechen – wenige Sekunden danach ertönt aus dem Lautsprecher die musikalische „Übersetzung“.

Die Schwarzen Löcher unter den Songs

Eine ganz andere Art von musikalischer Welt zeichnet das Team um Alessandro B. Melchiorre mit einem weiteren LIT-Call-Projekt. Sie entwerfen für die Ars Electronica ein sich veränderndes Universum mit Galaxien, Sternen, Planeten, Supernovas. All diese Himmelskörper stehen für Songs. Es gibt aber auch Schwarze Löcher, es sind ebenfalls Songs, und zwar die allerbeliebtesten.

„Black Holes of Popularity“, heißt das Projekt. Melchiorre nämlich forscht mit Kolleg*innen an den Verzerrungen, die musikalische Empfehlungssysteme erzeugen. „Durch sie werden einige wenige Titel ungeheuer populär, was immer weniger Platz für anderes lässt“, sagt er. „Gewisse Tracks saugen mit ihrer durch diese Systeme explodierenden Popularität ganz viel Energie und andere Information auf, verschlucken sozusagen andere Tracks. Das wollten wir vor Augen führen. Es soll aber gleichzeitig eine aufregende und unterhaltende Erfahrung sein.“

Aufregend und unterhaltend wird es vor allem dadurch, dass das Publikum dieses tischartig dargestellte Universum beeinflussen kann. Es entscheidet mit, welcher Track am Leben bleibt und welcher stirbt. Es kann den ungeheuer populären Songs lauschen und damit die Macht der Schwarzen Löcher vergrößern. Oder aber tun, was Melchiorre sich erhofft: „dass die Zuschauer*innen dazu beitragen, mit ihrer Songauswahl die kleineren zu retten, dass wir sie dazu ermutigen können, über die populärsten Songs hinauszugehen.“ Man kann also gespannt sein, wie das Publikum sich verhalten wird.

Wenn Siri zurückschlägt

Was macht Technik mit uns? Wie manipuliert sie uns, wie formt sie unser Verhalten, unser Denken? Diese Frage steht auch hinter einem weiteren LIT-Call-Projekt. Doch hier heißt es weniger: Wehrt euch, User! Sondern: Wehr dich, Siri!

Die Schweizer Psychologie-Studentin Nives Meloni nämlich hinterfragt die Art, wie uns Sprachassistenzsysteme auf Beleidigendes, speziell Sexistisches, antworten. Es ist das Thema

ihrer Masterarbeit „Screaming At Robots“ und nun auch ihres aus drei Videos bestehenden Ars-Electronica-Beitrags „Siri, Start Fighting Back“.

Siri und Co., wer kennt sie nicht, die dienstfertigen Frauenstimmen, die einem im Alltag mit Informationen und anderen Serviceleistungen zur Hand gehen. In Österreich nutzen schon rund 18 Prozent der Menschen in ihrem Haushalt ein Sprachassistenzsystem, in Deutschland 31 Prozent. Sie haben menschliche Charakteristika. „Die Neigung, in technische Geräte menschliche Züge hineinzuinterpretieren, ist erstaunlich, sie beginnt bereits beim Staubsaugerroboter“, sagt Meloni. „Es braucht sehr wenig, um etwas zu vermenschlichen.“ Siri, Alexa und Co. werden von den Nutzer*innen also tendenziell als Person wahrgenommen – genauer gesagt: als Frau. Und hier beginnt das Problem.

„Die meisten Sprachassistenzsysteme haben als Voreinstellung eine weibliche Stimme“, sagt Meloni. „Gleichzeitig verhält sich das System sehr devot, passiv, früher auch flirty.“ Beleidigt man etwa Siri oder Alexa, bekommt man Antworten wie: „Das habe ich nicht verstanden.“ Oder: „Darauf antworte ich nicht.“ Schlimmstenfalls schaltet sich das System aus. Nives Meloni sieht in diesen zurückhaltendenzurückhaltenden, schwachen Reaktionen eine Diskrepanz zu dem, „was wir heutzutage und speziell seit der MeToo-Bewegung von einer Frau als angemessene Reaktion empfinden würden. Wir holen uns hier immer noch ein sehr veraltetes Frauenbild in die Wohnung.“

Das hat wohl auch damit zu tun, dass die Programme die längste Zeit vor allem von Männern erstellt wurden. Bereits 2019 löste der von der UNESCO veröffentlichte Artikel „I’d blush if I could“ eine intensive Debatte über Gender-Klischees und Sexismus in der Programmierung von Sprachassistenten aus. Auf die Frage „Willst du mit mir Sex haben?“ antworteten diese zum Teil im Flirtmodus.

Seitdem hätten sich die Antworten schon ein wenig verändert, sagt Meloni. „Aber sie sind immer noch sehr devot. Sie geben sich ein bisschen feministisch, de facto aber reagieren sie immer noch sehr zurückhaltend auf Sexismus und verbale Aggressionen.“

Für die Ars Electronica kreiert sie nun gemeinsam mit dem Filmemacher Julian Pixel Schmiederer drei Videos: „Wir wollten etwas machen, was die Festivalzeit überdauert, das auch für Menschen zugänglich ist, die nicht zur Ars Electronica gehen. Deswegen haben wir mit Videomaterial gearbeitet.“

Das erste Video soll den Status quo aufzeigen und bewusstmachen, dass die Art, wie unsere mit menschlichen Charakteristika ausgestatteten maschinellen Alltagshelfer programmiert sind, sich auf unser Verhalten auswirkt. In weiteren zwei Videos will Meloni ein dystopisches und ein utopisches Zukunftsszenario kreieren. Autor*innen erarbeiten dafür derzeit die Drehbücher.

Was konkret wären denn Best- Case-Szenarien? „Im Best-Case-Szenario hilft uns das Assistenzsystem, wird aber nicht vermenschlicht.“ Ein weiterer Ansatz besteht darin, das Antwortverhalten zu verbessern. Für ihre Masterarbeit etwa hat Meloni einen eigenen Sprachassistenten entworfen. An ihm will sie untersuchen, „ob das System besser oder schlechter bei den Nutzern ankommt, wenn es erzieherisch antwortet“. Ein weiterer möglicher Ansatz ist die Veränderung der Stimme. „Wenn wir wirklich eine weibliche Stimme verwenden, müssen wir weg von der klassischen Assistenzfunktion“, sagt Meloni. „Man kann aber relativ leicht Stimmen herstellen, die als genderneutral wahrgenommen werden. In Berliner U-Bahn-Systemen werden sie schon eingesetzt.“

Meloni will mit „Siri, Start Fighting Back“ zum Nachdenken anregen, und das mit hohem künstlerischen Anspruch. „Die Videos werden den Zuseher*innen einiges abverlangen“, verrät sie. „Man wird nicht unbedingt gleich verstehen, worum es geht. Aber wir werden dem Publikum zusätzliche Informationen an die Hand geben.“

Kunst für Technik

Kunst über Technik also. Wie aber könnte Kunst für Technik aussehen? Kunst, die nicht von einem Menschen, sondern etwa von einem Handy „genossen“ wird? Von all den Handys, die das Festivalpublikum mit sich führt? „Ars for nons“, also for „nonhumans“: Hinter diesem Projekt stehen vier Forscher*innen, zwei davon beschäftigt an der JKU: Artist-Researcher Lea Luka Sikau, Medienkünstlerin Denisa Pubalova, Informatiker Michael Artner und Soziologin Julia Wurm. Sie werden die Treppenaufgänge der JKU als Orte der Kunst nutzen – und zwar für Smartphones (Nons).

Die Besucher*innen laden sich dafür an Ort und Stelle die eigens entwickelte Ars-for-non-App auf ihr Smartphone. Danach schließen sie ihre Handys an kleine Boxen auf den Treppen an. Diese wandeln nun Cache-Daten dieses, aber auch vorheriger Handys in Klänge, Vibration und Bewegtbilder um. So „erlebt“ jedes Handy in jeder der 20 Boxen eine individuelle Kunsterfahrung, und auch jedes der 20 Kunstwerke entwickelt sich im Laufe des Festivals mit jedem neuen Handy weiter. Am Ende der Ars Electronica wird es also eine Vielzahl an unterschiedlichen Sounds, Bildern und Vibrationen auf den Treppenaufgängen geben.

„Ars for nons“ ist ein gewagtes, ins Sinnliche beförderte Gedankenexperiment, und die Gedanken richten sich natürlich an die menschlichen „Begleitpersonen“ der Smartphones: Für wen machen wir Kunst? Wie können wir nicht-menschliche Akteur*innen als Teil der Gesellschaft begreifen? Das Projekt geht von einer Philosophie aus, die unter anderem von der US-amerikanischen Philosophin Jane Bennett in ihrem Buch „Vibrant Matter“ formuliert wurde. Hier wird der menschliche Exzeptionalismus nicht nur in Bezug auf andere Lebewesen infrage gestellt, sondern auch in Bezug auf materielle Objekte. Auch sie sollen als Akteur*innen begriffen werden, die auf uns Menschen einwirken – so wie wir auf sie.

Über all das also kann sich das menschliche Publikum, während seine Handys sich dem Kunstgenuss widmen, auch lesend seine Gedanken machen: In einem großen Wartezimmer nämlich liegen, wie wir es aus einer Arztpraxis, kennen, Magazine mit wissenschaftlichen Beiträgen rund um diesen Themenbereich auf. Und man kann davon ausgehen, dass die Besucher*innen danach greifen werden: Denn ihr Handy ist ja nicht da.