Glaubt man IT-lern, ist der beste Platz, um eine Leiche loszuwerden, nicht der Grund eines Sees. Auch nicht das Loch im Wald oder der Zement auf einer Baustelle. Stattdessen gibt es dort einen geflügelten Satz: „Der beste Platz, um eine Leiche zu verstecken, ist die Seite zwei der Google-Ergebnisse.“ Die Basis für diesen Witz sind Untersuchungen, nach denen weniger als ein Prozent der Klicks auf die Suchergebnisse ab Seite zwei entfallen. Und wer auf die Sonnenseite der Google-Suche darf und wer nicht, das bestimmt ein Algorithmus. Wie zunehmend immer mehr im Leben des Menschen.

Ein Algorithmus ist definiert als eine endliche, klar definierte Abfolge von Anweisungen zur Lösung eines Problems. Das kann eine einfache Formel sein, zum Beispiel die Berechnung des Body-Mass-Index. Es kann eine komplizierte Rechnung sein, wie die Berechnung von aktuellen, dynamischen Preisen für Flugtickets. Es muss aber auch gar keine Berechnung sein: Ein Briefträger, der immer zuerst beim Empfänger klingelt, dann beim nächsten Nachbarn und das Paket sonst zu einer Poststation bringt, führt ebenfalls einen Algorithmus aus. „Ein Algorithmus lässt sich vergleichen mit einer Bauanleitung“, sagt Markus Schedl vom Institut of Computational Perception der JKU. „Ein wenig wie bei IKEA, nur dass moderne Algorithmen sehr viel komplexer sind und nicht so linear funktionieren.“

Wenn man heute von Algorithmen redet, dann meint man damit meist weniger den Briefträger in der analogen, sondern die Bauanleitungen in der digitalen Welt. Die „Black Boxes“, denen wir im Internet begegnen. Die Facebook-Timeline, die einem einen wilden Mix aus aktuellen und drei Tage alten Postings anzeigt, die für den User trotzdem interessant sein sollen. Oder eben den Google-Algorithmus, der bestimmt, welche Suchergebnisse auf welchem Platz des Such-Rankings auftauchen. Die Entscheidung, was dem User wo angezeigt wird, hat direkte finanzielle Auswirkungen, vor allem für Firmen, die online einen großen Teil ihres Umsatzes machen.

Eine „Black Box“ sind die Algorithmen deshalb, weil die Unternehmen den zugrundeliegenden Code, die genauen Gesetze, nach denen der Algorithmus funktioniert, als Geschäftsgeheimnis behandeln. Sie sind einem steten Wandel unterworfen. Professionelle User wissen meistens ungefähr, welche Prinzipien gerade gelten und welche Dinge wichtig sind, um möglichst oft angezeigt zu werden. Aber genau wissen sie es eben nicht. Und davon profitieren wiederum Agenturen, die sich auf Social-Media- Betreuung oder Search Engine Optimization (SEO) spezialisiert haben.

Werkzeug und Buzzword

Algorithmen sind heute ein Buzzword für alles, was irgendwie mit Computer funktioniert. Es macht Eindruck, wenn etwas von einer vermeintlich objektiven Maschine ausgewählt wird statt von einem fehlbaren Menschen mit all seinen kognitiven Verzerrungen und Bias. Expert*innen rollen bei solchen Formulierungen aber gern mal mit den Augen, weil sie eine Sache verschleiern: Ein Algorithmus ist kein mächtiger Akteur, der Dinge von alleine entscheidet, sondern ein vom Menschen gemachtes Werkzeug, um gewisse Ziele zu erreichen.

Nicht „der Algorithmus“ wählt aus, sondern der Mensch mithilfe eines Algorithmus. In IT-Kreisen gibt es dazu einen weiteren schönen Satz: „Wer sagt, ein Algorithmus hätte etwas ausgewählt, der könnte auch sagen, dass ein Rezept das Abendessen gemacht hätte.“ Wobei moderne und komplizierte Algorithmen als Teil einer Künstlichen Intelligenz (KI) durchaus Elemente von Selbstverbesserung enthalten, was die Grenze zwischen Werkzeug und Akteur ein wenig aufweicht. Grundsätzlich sind Algorithmen unsere Freunde. Es gibt zahlreiche Bereiche, wo sie mit großem Erfolg eingesetzt werden. Zum Beispiel im Marketing, wo die Digitalisierung Unternehmen vor neue Herausforderungen stellt. „Technologie kann einen Beitrag leisten, die wachsende Komplexität zu meistern“, sagt Alexander Zauner vom Institut für Handel, Absatz und Marketing der JKU Linz. Gerade im Online-Werbegeschäft, also beim Buchen von Werbeplätzen, seien Automatisierung und Algorithmen von großer Bedeutung. „Unter dem Stichwort ‚Programmatic Advertising‘ steuern Computersysteme das Angebot und die Nachfrage nach geeigneten Werbeplätzen und legen den Preis für die Platzierung von Werbebotschaften oftmals in Echtzeit fest, meist via Auktionsverfahren.“

Unternehmen seien mithilfe dieser Technologien immer besser in der Lage, nachzuvollziehen, welche Wünsche und Bedürfnisse ihre Kund*innen haben. „Wie wird ein Produkt benutzt? Wann wird ein Vertrag gekündigt? Gutes Marketing muss diese Fragen heutzutage beantworten können“, sagt Zauner. Man müsse nur zuhören und verstehen wollen und dabei spielten Algorithmen eine große Rolle. Dass Algorithmen irgendwann den Menschen vollständig ersetzen könnten, glauben die meisten Expert*innen nicht. Es würde immer einen Bereich geben, wo genuin menschliche Fähigkeiten gefragt seien, die eine Maschine nicht simulieren könne. „Computer und technologische Lösungen wie KI sind in der Lage, Zusammenhänge in riesigen Datenmengen zu finden – das können sie bereits besser als Menschen“, sagt Zauner. Die Frage, ob man die richtigen Daten analysiere und ob die wirklich relevant seien, sei aber weiter eine Aufgabe für den Menschen.

Das AMS-Problem

Neben den zahlreichen positiven Anwendungsfeldern werfen Algorithmen aber auch Probleme auf. Nicht nur, weil es „Black Boxes“ sind, sondern, weil ihnen vielfach vorgeworfen wird, dass sie – beziehungsweise ihr Einsatz – gesellschaftliche Diskriminierung verstärken würden.

Im Jahr 2018 verkündete das Arbeitsmarktservice (AMS), einen Algorithmus einsetzen zu wollen, der die Chance auf den Einstieg in den Arbeitsmarkt bewerten sollte. Es war nicht die erste öffentliche Stelle, die sich eines Algorithmus bedienen wollte – in leiserer, kleinerer Form kommen sie in vielen Ecken des Lebens zum Einsatz, auch beim AMS. Aber am Beispiel des neuen, umfassenderen Einsatzes des „großen Algorithmus“ entzündete sich eine öffentliche Diskussion. Das Technik-Unbehagen war vorprogrammiert: In der Beziehung zwischen AMS und Arbeitssuchenden gibt es eine Machtungleichheit. In einer so verletzlichen Situation von einem Computer bewertet zu werden, mit allen Folgen, das erschien vielen Leuten intuitiv ungerecht.

Dass der Algorithmus nur als Hilfestellung für den menschlichen AMS-Berater dienen und das letzte Wort bei diesem liegen sollte, half dann auch nicht mehr. „Das AMS hat als öffentliche Stelle zwei Pflichten“, sagt Eduard Müller, Soziologe an der JKU Linz, der sich in seiner Dissertation mit dem AMS-Algorithmus aus organisationssoziologischer Sicht beschäftigt. „Es muss seine Mittel effizient einsetzen, aber auch für Chancengleichheit sorgen.“

Ein Algorithmus von einer öffentlichen Stelle sei eben etwas anderes als ein Algorithmus von Google.

Der AMS-Algorithmus sollte – grob gesagt – Arbeitssuchende in drei Kategorien einteilen: In die erste Kategorie sollten Menschen fallen, die so qualifiziert und fit seien, dass sie kaum Hilfe bei der Jobsuche brauchen. In die zweite diejenigen, denen das AMS am besten helfen kann. Und in die dritte die hoffnungslosen Fälle: Langzeitarbeitslose, Menschen kurz vor der Pension. Der Algorithmus stützte sich dabei auf Daten früherer Vermittlungen, Wohnsitz, Geschlecht und mehr.

Modelle, die sich auf solche Daten stützen, haben den großen Nachteil, dass sie bestehende gesellschaftliche Diskriminierungen übernehmen. Wenn Frauen schwieriger einen Job bekommen, würde sich das System das merken, damit aber eben auch die Chance für Frauen, in Zukunft Jobs zu finden, noch weiter verringern. Ähnliches gilt auch für Algorithmen, die potenzielle Straffälligkeit voraussagen sollen. Sie diskriminieren fast immer nach Migrationshintergrund oder Geschlecht und zementieren damit die Gründe für die Schieflage wieder mit ein. Im Fall des AMS-Algorithmus gab es für das Frausein tatsächlich „Minuspunkte“, was massive Kritik nach sich zog. Aktuell beschäftigt die Sache die Gerichte: Die Datenschutzbehörde untersagte seinen Einsatz, das AMS berief gegen diese Entscheidung. Das System kommt im Moment nicht zum Einsatz.

„Das Problem am AMS-Algorithmus war weniger, dass er besonders schwierige Fälle identifiziert hat“, sagt Müller, „sondern, dass man nach der aktuellen Regelung in der dritten Kategorie weniger kostspielige Unterstützung bekommt.“ In Skandinavien würde man einen ähnlichen Algorithmus einsetzen, aber in der Tradition des skandinavischen Sozialstaates würden die Menschen in den schlechteren Kategorien mehr Unterstützung bekommen, nicht weniger. Ein Algorithmus funktioniert immer in einem sozialen Kontext. Mit dem Algorithmus als Werkzeug können verschiedene Ziele verfolgt werden und hinter dem Begriff „Diskriminierung“ versteckt sich erst mal nur eine Ungleichbehandlung, nicht zwingend eine Schlechterstellung von Schwächeren.

Das Ergebnis muss gefallen

„Man muss den eigentlichen Algorithmus von den zugrundeliegenden Daten trennen, auch wenn das heute immer schwieriger wird“, sagt Markus Schedl. Die Diskriminierung finde sich meist weniger in den Algorithmen („Sie werden da keine hard gecodete Anweisung finden, Gruppe x schlechter zu behandeln“), sondern in den Daten, aus denen sich der Algorithmus sein Modell baut.

Schedl ist auch Leiter der „Human-Centered AI Group“ der JKU, beschäftigt sich also mit KI aus der Perspektive des Menschen beziehungsweise des Users. Seine Kolleg*innen und er beschäftigen sich dabei viel mit Suchmaschinen und Empfehlungssystemen, wie man sie von Amazon („Nutzer, die dieses Produkt kauften, kauften auch“) oder Musikplattformen wie Spotify kennt. Diese eignen sich für die Wissenschaft, weil es gute Datensätze gibt und Firmen wie Spotify selbst viel Forschung betreiben. Die Forscher*innen in Linz sind auch ziemliche Musikliebhaber* innen, aber das nur am Rande.

Grob gesagt gibt es zwei Formen von Empfehlungssystemen. Bei einem inhaltsbasierten System gibt man aller Musik einen inhaltlichen Tag, kategorisiert sie also. Also: Eine Instanz, zum Beispiel ein Redakteur, gibt aller Musik, die er für Metal hält, das Tag „Metal“. Und wenn der User dann einen Metal-Song hört, würde man ihm den nächsten Metal-Song vorschlagen. Ein „collaborative filtering“- System arbeitet anders: Dort wird das Verhalten des Users mit dem anderer User verglichen. Ihm werden Songs angezeigt, die Usern mit einem ähnlichen Verhalten auch gefallen haben. „In Wahrheit arbeiten heute alle mit hybriden Systemen, also einer Mischung aus beidem“, sagt Schedl. Auch weil man damit einige Probleme wie das „Cold Start“-Problem (wenn ich mich anmelde, weiß die Plattform noch nichts über mein Verhalten) ausgleichen kann.

Schedl und seine Kolleg*innen klopfen die Algorithmen ab und untersuchen sie unter anderem auf Fairness und versteckte Bias wie die im AMS-Algorithmus. „Da gibt es einige problematische Dinge, die wir festgestellt haben“, sagt Schedl. Bei Suchmaschinen zeigt sich beispielsweise, dass eigentlich geschlechtsneutrale Begriffe wie „CEO“, „Doctor“ oder „Nurse“ (die Forscher*innen arbeiten der Internationalität wegen mit englischsprachigen Begriffen) Ergebnisse mit einem klaren Gender Bias liefern. Die Empfehlungssysteme auf Musikplattformen kennen oft einen „Popularitäts- Bias“ – große, ohnehin bekannte Bands werden öfter vorgeschlagen, auch wenn sie inhaltlich eigentlich weniger passend sind. Wieder so ein Fall, bei dem sich bestehende Ungleichheiten der analogen in der digitalen Welt widerspiegeln. Tendenziell kann man sagen, dass inhaltsbasierte Algorithmen einen geringeren Bias haben als die „collaborative filtering“- Systeme.

In Linz nimmt man aber nicht nur die Algorithmen in den Blick, sondern auch die andere Seite, den Menschen – wie der Name „Human-Centered“ schon sagt. Und dann wird es noch einmal komplizierter. „Ein guter Algorithmus muss dem User Dinge vorschlagen, die seinen ‚information need‘ bedienen“, sagt Schedl. In Laiensprache: Die Ergebnisse müssen für den User relevant sein. Und da wird es problematisch. „Die Ergebnisse von besonders ‚fairen‘ Algorithmen werden von den Usern oft negativer beurteilt.“ Der Mensch mag Fairness prinzipiell befürworten, aber nicht in seinen Suchergebnissen.

Selbstfahrende Autos

Die Tatsache, dass einem Algorithmus Annahmen zugrunde liegen, mag bei Musikempfehlungen von Spotify noch halbwegs harmlos wirken. In der Zukunft könnten sich dahinter aber auch moralische Entscheidungen verbergen, die über Leben und Tod bestimmen.

Das berühmteste Beispiel für so eine potenziell tiefgreifende Entscheidung ist das selbstfahrende Auto. Wie verhält es sich in einer plötzlichen Gefahrensituation? Wie weicht es aus? Wie wiegt es die Gefahr der Insass*innen gegen die von anderen Verkehrsteilnehmer* innen ab? Wer haftet, wenn ein selbstfahrendes Auto einen Schaden verursacht – der Besitzer oder der Programmierer? Diese Fragen sind heute noch Zukunftsmusik, werden sich aber in nicht allzu ferner Zukunft ganz real stellen.

Wie in dem berühmten „Trolley-Problem“ – dem philosophischen Gedankenspiel, das solche Überlegungen auf eine abstrakte Ebene hebt – gibt es auf diese Fragen keine „richtige“ oder „falsche“ Antwort. Man kann den Algorithmus auf verschiedene Arten programmieren. Und jeder dieser Arten liegen Prämissen darüber zugrunde, was der Mensch als „gerecht“ empfindet.

Forscher*innen der Uni Osnabrück ließen Versuchspersonen Entscheidungen in einer theoretischen Verkehrssituation treffen („Soll ein Auto einer 10-Jährigen ausweichen, wenn es dafür einen 70-Jährigen trifft?“). Daraus bastelten sie einen „Mehrheitsalgorithmus“, nach dem sich das Auto danach richtete, was die meisten Menschen taten. Das Endergebnis wurde von den Versuchspersonen mehrheitlich abgelehnt. Offenbar wollen wir, dass der Algorithmus „moralischer“ handelt als wir selbst. Dazu kommt, dass sich Kopf- und Bauchentscheidungen unterscheiden. Setzt man die Versuchspersonen unter Zeitdruck, handeln sie anders. Lässt man ihnen mehrere Sekunden Zeit, retten sie beispielsweise häufiger Frauen als in der ersten Sekunde.

In den USA hoben Forscher*innen das Problem auf eine noch höhere Ebene. Sie ordneten den Menschenleben Zahlenwerte zu und konnten damit berechnen, welche Auswirkungen bestimmte Änderungen im Algorithmus auf einer größeren Skala haben. Ganz im Sinne von Kants kategorischem Imperativ konnte man so sehen, welche Auswirkungen meine Entscheidungen haben würden, wenn jede*r so handeln würde. Es gab dabei Varianten, bei denen die Gesamtzahl der Toten gesenkt wurde, dafür aber die Opfer jünger waren. Ob das „fair“ ist, liegt im Auge des Betrachters.

Die Sache mit der Fairness

Der Begriff „Fairness“ ist ohnehin kein einfacher, weil er mit Leben gefüllt werden muss. In der Forschung gilt ein Algorithmus als besonders fair, wenn er wenig Diskriminierung enthält. Das muss in der gesellschaftlichen Praxis nicht so sein. „Es kann sein, dass ich zum Beispiel Frauen bewusst bevorzugen möchte, um die Benachteiligungen auszugleichen“, sagt Schedl. Nicht jeder Bias sei prinzipiell verwerflich.

„Wir kämpfen vor allem für zwei Dinge“, sagt Schedl. Zum einen für Transparenz: Durch die Komplexität und die Black Box sei es für den Menschen immer schwieriger, zu verstehen, was der Algorithmus, das Modell, eigentlich genau mache, das müsse sich ändern. Zum anderen wolle man dem User die Kontrolle zurückgeben. „Es geht schließlich um die Intention des Users: Wenn ich nach den Ministerinnen der letzten zehn Jahre suche, möchte ich natürlich nur Frauen angezeigt bekommen.“

Algorithmen werden zum Gegenstand der Politik – und es ist höchste Zeit dafür. In ihrem „Weißbuch zur Künstlichen Intelligenz“ aus dem Jahr 2020 beschrieb die Europäische Kommission ihren Zugang. Darin wurde zumindest eine strenge Dokumentation der Programmierung und der Gewichtung der eingesetzten Algorithmen gefordert. Damit ist noch keine Öffentlichkeit hergestellt, es würde aber zumindest eine nachträgliche Überprüfung ermöglichen. Auch wenn das Weißbuch teilweise als zu wenig ambitioniert kritisiert wurde, hat die Kommission immerhin erkannt, dass selbstlernende Algorithmen immer mehr Teil unseres Alltags werden und dass sich das in Zukunft noch steigern wird. Und wenn man irgendwann mithilfe eines Algorithmus über Leben und Tod entscheidet – sei es in einem selbstfahrenden Auto oder in einem Krankenhaus zur Abwägung, ob sich eine riskante Operation lohnt –, dann ist das eben noch mal eine Stufe über der Frage, wie Suchergebnisse auf Google zustande kommen.

Aber auch in Bezug auf Letztere gibt es immer wieder Diskussionen. Aktivist*innen und Politiker*innen fordern, dass mächtige De-facto-Monopolisten wie Facebook oder Google als Teil einer öffentlichen Infrastruktur zu behandeln sind anstatt als Privatfirmen. Dazu würde dann auch die Veröffentlichung des Codes und der zugrundeliegenden Regeln des Algorithmus gehören. Transparenz eben.

„In der Öffentlichkeit schimpft man gern auf den bösen Algorithmus, aber der ist nur in seltenen Fällen der alleinige Übeltäter“, sagt Schedl. Der Algorithmus bilde sich ein Modell aus den zugrundeliegenden Daten und da hätten die Bias meist ihren Ursprung. Der Algorithmus lernt die Diskriminierung aus den Daten und damit vom Menschen. „Auch in der analogen Welt empfehlen wir intuitiv eher Männer“, sagt Schedl. Solche Ungerechtigkeiten und Verzerrungen setzten sich in den Algorithmen fort. „Das ist nicht nur ein technisches, sondern ein gesellschaftliches Problem. Das kommt mir in der Diskussion oft zu kurz.“