Entgegen der landläufigen Meinung ist Künstliche Intelligenz (KI) nicht in der Lage, den Großteil der Inhalte zu erkennen und zu entfernen. Menschen müssen Videos und Bilder, die Folter, Missbrauch und sexuelle Gewalt zeigen, überprüfen. Gleichzeitig werden die Moderator*innen der Inhalte selbst mit Hilfe von Technologien akribisch aufgezeichnet, überwacht und kontrolliert. An einem normalen Arbeitstag müssen sie täglich bis zu 1.000 Beiträge überprüfen und innerhalb von Sekunden eine Entscheidung treffen, bevor sie zum nächsten Beitrag übergehen. Wie ein Moderator es ausdrückte:

„Wir mussten 150 Tickets pro Stunde bearbeiten. Wissen Sie, das ist verrückt. Wenn du das nicht schaffst, wirst du von deinem Teamleiter verwarnt.“ 

Die Content Moderator*innen arbeiten unter prekären Bedingungen und sind nicht ausreichend für den Umgang mit potenziell traumatisierenden Inhalten geschult. Sie haben wenig bis keine Unterstützung oder Zugang zu Expert*innen für psychische Gesundheit und verdienen nicht viel mehr als den Mindestlohn. Eine Moderatorin sagte:

„Das ist eigentlich das Schlimmste daran, denn es ist ein Job, der sich wirklich auf dein Wohlbefinden und deine psychische Gesundheit auswirkt. Das geht so weit, dass sogar die körperliche Gesundheit in Mitleidenschaft gezogen wird. Aber auch darüber kann man nicht sprechen.“

Die Content Moderation von Inhalten wird in der Regel nicht direkt von den Plattformorganisationen durchgeführt, sondern an spezialisierte Unternehmen ausgelagert, eine Praxis, die als Business Process Outsourcing (BPO) bekannt ist. Diese BPO-Firmen sind hauptsächlich in Ländern des globalen Südens angesiedelt, aber auch in Europa tätig, um Inhalte in verschiedenen europäischen Sprachen zu prüfen. Obwohl es sich um einen Niedriglohnsektor handelt, macht die Aussicht auf einen Bürojob und ein stabiles Einkommen die Content Moderation zu einer attraktiven Alternative, insbesondere für Arbeitnehmer*innen in Ländern, in denen die Durchschnittslöhne sehr niedrig und die Arbeitslosenquote hoch ist. In Deutschland verdienen Content Moderator*innen etwas mehr als den Mindestlohn. Die hohen Lebenshaltungskosten machen die Content Moderation in Westeuropa jedoch zu einem finanziell unsicheren Beruf. Darüber hinaus sehen sich Content Moderator*innen in Europa (aber auch in Ländern wie Kenia) oft mit einer doppelten finanziellen Belastung konfrontiert: Sie müssen ihren eigenen Lebensunterhalt bestreiten und gleichzeitig ihre Familien in ihren Heimatländern finanziell unterstützen. Ihre Gehälter reichen kaum aus, um über die Runden zu kommen.

Die meisten Content Moderator*innen werden bewusst aus Niedriglohnländern oder von Krieg und Unruhen betroffenen Regionen angeworben, wo sie versuchen, schwierigen politischen und wirtschaftlichen Situationen zu entkommen. Ihr Migrationshintergrund macht sie verletzlich, da sie in hohem Maße von einer stabilen Beschäftigung abhängig sind, um ihre Familien in ihren Heimatländern zu unterstützen und ihre Aufenthaltsgenehmigung zu behalten. Wie ein Moderator erklärte:

„Wenn wir hier in Kenia von Moderator*innen sprechen, kommen wir aus verschiedenen Ländern, einige aus Südafrika, andere aus Nigeria, aus Äthiopien, aus Uganda, Ruanda, Burundi, Kenia und all diesen anderen Ländern in Afrika. (...) Was sie machen, ist, dass sie einfach einen Haufen junger Leute herbringen und sie diesen sehr giftigen Inhalten aussetzen. Dann sind sie fertig mit ihnen. Sie wissen, dass diese Menschen durch diese Arbeit nicht einmal mehr in der Lage sind, für ihr Leben zu sorgen. Dann werden sie entsorgt, und dann bringen sie einen neuen Haufen Leute.“

Die Unternehmen nutzen das junge Alter und die Unerfahrenheit der Arbeitskräfte aus. Da sie sich der wahren Natur der Arbeit nicht bewusst sind, wird ihnen oft vorgegaukelt, sie würden einen „Übersetzungsjob" annehmen. Infolgedessen gehen diese jungen Menschen einer Arbeit nach, die ihre psychische und physische Gesundheit schwer beeinträchtigt, da sie täglich verstörende Inhalte sehen müssen und dadurch ständig retraumatisiert werden. Ein Moderator aus Kenia berichtete:

„Sie wählen ständig Studentierende aus. Du hast Visaprobleme, du hast Geldprobleme und du brauchst diesen Job. Sie nutzen dich aus.“

Neben der Überprüfung von nutzergenerierten Inhalten sind die Content Moderator*innen auch für das Training von KI-Modellen verantwortlich, wie sie beim autonomen Fahren oder bei Sprachmodellen wie ChatGPT eingesetzt werden. Indem sie die Moderation von Inhalten auslagern, verbergen Plattformorganisationen und generative KI-Unternehmen die Arbeitskräfte und ihre Arbeitsbedingungen vor der Öffentlichkeit und vermeiden so jede Assoziation mit der Ausbeutung der Arbeiter*innen. Diese Arbeitnehmer*innen setzen ihre körperliche und geistige Gesundheit aufs Spiel, um Social-Media-Plattformen und KI-Modelle sicher zu halten. Dies wirft eine wichtige Frage auf: Was können wir tun, um die Arbeitsbedingungen dieser Arbeitskräfte zu verbessern?

Über diese Forschung

Sara Maric (JKU) führt derzeit eine Studie über Content Moderator*innen durch. Sie befragte 50 Content Moderator*innen aus Kenia, Deutschland und Marokko. Es ist schwierig, Zugang zu den Moderator*innen zu bekommen, da die großen Plattformorganisationen und ihre Auftragnehmer*innen sicherstellen wollen, dass dieser Teil ihrer Arbeit nicht öffentlich hinterfragt wird.