"The Cleaners": Die heimliche Müllabfuhr des Internets

Die Regisseure Hans Block und Moritz Riesewieck sitzen im Konferenzraum der Berliner Farbfilm-Verleih. In ihrem Dokumentarfilm "The Cleaners" führen sie den Zuschauer in die geheime und abgesicherte Welt der Menschen, die die sozialen Netzwerke säubern. Ihr sehenswerter Film ist bis 3. September in der Arte-Mediathek zu sehen.

Drei Milliarden Menschen sind weltweit durch soziale Netzwerke verbunden. Jede Minute werden 500 Minuten Video bei YouTube hochgeladen, 450.000 Tweets bei Twitter abgesetzt und 2,5 Millionen Posts bei Facebook abgesetzt. „Nicht alles, was hochgeladen wird, bleibt“: So beginnt der Film "The Cleaners" über die Löscharbeiter, die in Manila in einem Löschteam für Facebook arbeiten. Ihre Arbeit ist sehr wichtig, aber auch extrem belastend. Denn sie bekommen Gewalt, sexuellen Kindesmissbrauch und Enthauptungen zu sehen. Stundenlang. Die Regisseure Block und Riesewieck recherchieren seit Jahren zu dem Thema, kennen jedes Detail.

t-online.de: Herr Block, Herr Riesewieck, ihr Film heißt „The Cleaners“. Was wird da von wem gesäubert?

Hans Block: Es ist ein Film über eine gigantische Schattenindustrie auf den Philippinen. Dort sind Tausende junge Filipinos täglich damit beschäftigt, acht bis zehn Stunden auf dem Bildschirm das herauszufiltern, was wir nicht sehen sollen – in sozialen Medien wie Facebook, Instagram, YouTube oder Twitter. Diese Dienste werden von den großen Konzernen ausgelagert, meist in Entwicklungsländer. Wir stellen die Frage: Was ist eigentlich erlaubt in dieser frei wirkenden Welt, die das Internet ist? Und wer ist dafür verantwortlich, diese Entscheidungen zu treffen? Der Film stellt diese so genannten Content-Moderatoren in den Mittelpunkt.

Warum findet diese Arbeit auf den Philippinen statt?

Moritz Riesewieck: Ein nahe liegender Grund ist natürlich, dass es ein Billiglohnland ist. Die Outsourcing-Unternehmen werben damit, dass ihre Angestellten angeblich unsere westlichen Werte teilen und verstehen können als Folge von jahrhundertelanger Kolonisation. Diese Unternehmen lassen uns glauben, dass sie deshalb besonders gut einschätzen können, was wir Westler mögen und was nicht.

Und das funktioniert?

Riesewieck: Nein. Zwar sind 90 Prozent der Filipinos Christen. Aber nicht so, wie wir sie aus dem Kommunionsunterreicht kennen, sondern zum Teil sehr orthodox. Junge Menschen laufen dort mit Bibel-Botschaften auf ihren T-Shirts herum. Jeder dritte Post ist ein Psalm. Viele haben die Idee, sich für die Sünder der Welt zu opfern. Das ist für die kein 9-bis-5-Job, sondern ein quasi göttlicher Auftrag. Es ist gefährlich, wenn Menschen mit einem solchen religiösen Auftrag einen solchen Job machen, wo es viele Grauzonen gibt. Und es darauf ankommt, genau hinzuschauen.

Wie viele Cleaner gibt es – auf den Philippinen und weltweit?

Riesewieck: Experten gehen von über 10.000 Menschen aus, die allein auf den Philippinen diese Arbeit leisten. Manila ist mit Abstand der größte Standort für Content-Moderation weltweit. Da gelangt der Großteil der Inhalte, die verdächtig sind, zu diesen Moderatoren. Erst in jüngster Zeit beginnt Facebook andere Standorte zu eröffnen, in Berlin-Spandau mit Arvato oder der neueste in Essen.

Was bekommen die Cleaner zu sehen? Alles? Oder nur das, worüber sich Nutzer beschwert haben?

Block: Es gibt zwei Kanäle: Zum einen haben die Sozialen Netzwerke eine Art algorithmischen Vorfilter. Der kann zum Beispiel Umrisse beispielsweise von Sexualorganen identifizieren, oder auch Blut und nackte Haut. Die Unternehmen sind da sehr intransparent, was dieser Algorithmus alles vorfiltert. Solche Filter existieren deshalb, weil die Firmen nicht wollen, dass so etwas passiert wie 2013, als ein Video eines Kindesmissbrauchs auf Facebook gelandet ist und innerhalb kürzester Zeit 16.000 Mal geteilt wurde. Dann gibt es die Methode des „Flaggens“. Wir Nutzer können damit Inhalte melden. Beide Kanäle führen auf die Bildschirme der Content-Moderatoren, vorwiegend in Manila. Da sitzt dann jeder in seiner Arbeitsbox und moderiert acht bis zehn Stunden Tausende von Bildern.

Sind die Cleaner auf bestimmte Inhalte spezialisiert?

Block: Im Prinzip kann jeder Moderator alles bekommen, vom Terrorvideo bis zum Kindesmissbrauch und bis zur Blume, die fälschlicherweise geflaggt wurde. Die Unternehmen haben auch begonnen, Teams einzurichten, zum Beispiel für Terror. Dort arbeiten Geflüchtete aus Syrien, die arabisch sprechen. Theoretisch können die Content-Moderatoren unklare Fälle weiterleiten. Sie haben aber Angst davor, das zu oft zu tun, weil ihnen dies als Unfähigkeit ausgelegt werden könnte. Wenn ich zu oft Sachen nicht selbst löse, sondern an andere weiterleite, dann sind diese Teams überlastet und sie können diese Arbeit nicht mehr machen.

Riesewieck: Deshalb haben uns viele Content-Moderatoren gesagt, dass sie aus ihrem Bauchgefühl entscheiden. Das ist besonders bedenklich, wenn es um politische Inhalte geht. Wenn nur drei Prozent aller Entscheidungen durch Vorarbeiter kontrolliert werden, also nur Stichproben genommen werden, dann bleibt vieles unentdeckt, was dort an Fehlentscheidungen getroffen wird.

Haben wir genug Cleaner, um der enormen Datenmengen Herr zu werden? Oder läuft viel zu viel an ihnen vorbei?

Block: Interessant ist, das Facebook immer die Zahl der Arbeiter betont. Zuckerberg stockt jetzt auf 20.000 Menschen auf. Es ist ein Versuch, der Misere zu entkommen, dass diese Cleaner im Sekundentakt entscheiden müssen, um den „score“ zu schaffen, den sie zu erreichen haben an Inhalten pro Tag. Aber es löst nicht das Problem der Qualität. Es werden viele Fehlentscheidungen getroffen. Deswegen muss man viel mehr fragen, wer die Leute sind, die moderieren. Braucht es nicht viel besser ausgebildete Content Moderatoren? Genauso muss man das Training hinterfragen. Heute werden die Moderatoren drei bis fünf Tage lang ausgebildet. Sie lernen in diesen Tagen hunderte Seiten von Richtlinien und Regeln, die sehr schwierig anzuwenden sind. Bei einer Zeitung gibt es Editoren und Redakteure, die dafür verantwortlich sind, was publiziert wird und was nicht. Die haben jahrelang Journalistenschulen besucht, kennen den kulturspezifischen Kontext, haben einen Ethik-Codex, den sie anwenden können. All das müsste man für die digitale Welt auch einfordern.

Riesewieck: Die Richtlinien sind unter dem Aspekt entworfen worden, dass sie einen möglichst großen Teil der Nutzer zufrieden stellen. Da steckt eine Art Mehrheitsdemokratie dahinter. Wer nicht gut genug geschützt wird, sind Minderheiten, weil sie keine Rolle für den Profit spielen. Damit wird ein Hauptziel der analogen Demokratie, nämlich Minderheiten zu schützen, außer Acht gelassen.

Content-Moderatoren müssen den kulturellen Zusammenhang sehen, in dem zum Beispiel eine Gewaltdarstellung erscheint.

Riesewieck: Genau das ist das Problem. Und der Grund, warum es den Algorithmen nicht anvertraut wird. Die Content-Moderatoren sind oft erst 18, 19 Jahre alt, haben einen College-Abschluss und nie die Stadt verlassen. Sie wissen nicht Bescheid über kulturelle Hintergründe, wissen nicht, was Karikatur ist, was Ironie, was Satire. Das kann man nicht zentralisieren in einem Billiglohn-Land.

Wie läuft das Löschen konkret ab?

Block: Es gibt eine Software, diese spielt über zwei Kanäle diese Bilder aus einer Art „Topf“ auf den Bildschirm des Cleaners. Ich kann dann zwei Entscheidungen treffen: „delete“ (löschen) oder „ignore“ (ignorieren). Wenn ich etwas lösche, gibt es etwa zehn Unterkategorien, mit denen ich sagen kann, warum ich einen Inhalt lösche. Weil er zum Beispiel terroristisch ist, weil er Hassrede enthält, weil es ein Kindesmissbrauchs-Video ist oder Selbstverletzungen zeigt. Diese Kategorien werden auch genutzt, um den Algorithmus zu trainieren. Nur: Wenn das gering qualifizierte Arbeiter machen, wie wir in dem Film sehen, und die Fehler machen, dann führt das dazu, dass auch ein Algorithmus permanent Fehler macht. Außerdem gibt es eine Kooperation mit Strafbehörden für manche illegalen Inhalte. Wir wissen das bei Kindesmissbrauch, da wird mit einer Organisation in den USA kooperiert. Die bekommen IP-Adressen und andere Informationen von Nutzern, die versucht haben, Kindesmissbrauchs-Videos hochzuladen, damit das ausgewertet und an die Polizei vor Ort weitergeleitet werden kann.

Ist das gut oder schlecht?

Block: Das ist gut. Doch damit begibt sich auch die Polizei in eine Abhängigkeit zu den privaten Unternehmen. Diese könnten irgendwann auch auftreten, und fordern, dass die Politik weniger regulieren soll, weil sie dem Staat schließlich auch unter die Arme greifen und Polizeiarbeit übernehmen. Die Content-Moderatoren, die solche Fälle weiterleiten, bekommen oft eine Rückmeldung, dass sie dazu beigetragen haben, einen lange gesuchten Straftäter zu fassen. Eine Moderatorin hat uns erzählt, dass sie sich wie eine Polizistin des Internets fühlt.

Kann ein Cleaner selbst entscheiden, was gelöscht wird und was nicht?

Ja. Und es werden nur Stichproben gemacht als Kontrolle.

Damit hat er ziemlich viel Macht.

Ja, das ist das Problem.

Im Film kommt eine Cleanerin zu Wort, die erst durch ihre Arbeit sexuell aufgeklärt wurde.

Riesewieck: Sie ist ein typisches Beispiel für junge Filipinos. Es ist eine sehr christliche Gesellschaft. Viele dieser Billiglöhner haben Familien, die auf dem Land wohnen, im Umkreis des Molochs Manila. Sie sind christlich-orthodox aufgewachsen. Der Arbeitsvertrag schließt aus, dass sie über die Inhalte, die sie da zu sehen bekommen, mit ihren Familien sprechen dürfen. Es liegt aber auch an den Werten dieser Familien, dass sie das nicht teilen. Die Arbeiter machen mit sich selbst aus, was sie dort zu sehen bekommen und geraten in moralische Konflikte. Für viele der katholischen Content Moderatoren ist es eine Sünde, sich mit diesen Inhalten zu umgeben. In einem Beispiel, das nicht im Film auftaucht, wollte jemand Priester werden und konnte das nicht mehr, nachdem er diesen Job gemacht hatte und das Gefühl hatte, er hatte zu viele Sünden auf sich geladen. Von diesen Beispielen gibt es sehr viele.

Die Büros im Film wirken sehr authentisch. Haben Sie an den Originalschauplätzen gedreht?

Block: Wir hatten das Glück, in einer ungenutzten Original-Büroetage drehen zu können, mit den typischen Arbeitskabinen und der authentischen Moderationsoberfläche. Dort haben uns die Cleaner ihre Arbeit gezeigt. So konnten wir das Problem umgehen, dass wir es mit einer extrem verschlossenen Industrie zu tun haben. Die Unternehmen tun alles, damit diese Arbeit unbekannt bleibt. Da gibt es private Polizei, die Gebäude abschirmt, die Mitarbeiter kontrolliert, dass diese keine Informationen nach außen tragen. Es gibt sehr großen Druck. Bei unserer Recherche sind Teile unseres Teams abfotografiert und dies Bilder an das ganze Unternehmen gesendet wurden, mit der Warnung „Wer mit diesen Leuten spricht, verliert sofort den Job“. Wir zeigen deshalb ohne Anonymisierung nur Arbeiter, die den Job vor kurzem verlassen haben.

Habens Sie jemals die Lösch-Richtlinien der Konzerne gesehen?

Block: Ja, durch einen Leak. Offiziell haben Facebook und Co. seit ihrem Bestehen alles dafür getan, die Richtlinien undurchsichtig zu halten.

Was steht darin?

Riesewieck: Es sind Hunderte von Seiten mit etlichen Listen, etwa von Terrororganisationen, oder politischen Symbolen, die unerwünscht sind. Diese Richtlinien werden dauernd angepasst und erweitert. Grundsätzlich soll vor allem unterschieden werden zwischen gewaltverherrlichenden Inhalten und Inhalten mit Nachrichtenwert, zwischen Kunst und Voyeurismus, Propaganda, Satire. Da bleiben naturgemäß viele Grauzonen und Spielräume. Zumal die Lösch-Entscheidungen meist in wenigen Sekunden zu fällen sind.

Lassen Sie uns über die Grauzonen reden. Wann überwiegt das Interesse an Löschung, wann die Meinungsfreiheit?

Block: Da gibt es keine einheitliche Linie. Facebook und Co. eilen der Kritik hinterher, die auf sie einprasselt und versuchen den Eindruck aufrecht zu erhalten, alles unter Kontrolle zu haben. Im Prinzip nutzen ihnen extreme, affektgeladene Posts sogar, weil sie viel Aufmerksamkeit erregen und damit zu Geld gemacht werden können.

Können Sie das an einem Beispiel erläutern?

Riesewieck: Dass sich blinde Wut und Hass so ausbreiten, ist kein Zeichen von Missbrauch der Plattformen, wie uns Facebook und Co. weismachen wollen. Es ist Teil ihres Business-Modells, das darauf ausgerichtet ist, möglichst viel Traffic zu erzielen. Wir als Gesellschaften müssen die Frage beantworten, ob für uns Hetze gegen Minderheiten auch noch als erlaubte Meinungsäußerung zählt oder nicht. Das etwa sehen Menschen in den USA oft komplett anders als Menschen in Europa. Mit Sabo, einem rechtsextremen Aktivisten, zeigen wir im Film, wohin es führen kann, wenn wir im Netz „jedem Menschen eine Stimme verleihen“, wie Zuckerberg es Facebook verordnet hat.

Brauchen wir überhaupt eine Filterung?

Block: Ja, aber eine transparente und eine, die wir mitbestimmen, die Mitglieder des Netzwerks. Wir müssen etwa auch erfahren, welche Inhalte blockiert werden, weil Regierungen es von Facebook und Co. verlangen. Bisher erfahren wir nicht, was auf Wunsch von Erdogan und Co. unsichtbar gemacht wird. Der Kuschelkurs zwischen sozialen Netzwerken und autokratischen Regierungen dient nur dem Zweck, die Marktmacht um jeden Preis zu erweitern. Diese heimlichen Deals müssen ein Ende haben!

Wie sind Sie an die Interviewpartner für den Film gekommen?

Riesewieck: Viele der Content-Moderatoren waren stolz auf ihre Arbeit, wollten, dass die Welt erfährt, was für einen elementaren Dienst sie uns allen erweisen. Viele sagten: Ihr könnt Euch gar nicht vorstellen, wie Eure Newsfeeds aussähen, wenn wir auch nur eine Stunde die Arbeit niederlegten. Das Problem war: Die Arbeiter und Arbeiterinnen dürfen laut Vertrag mit niemandem darüber sprechen, was sie dort tun. Wir konnten deshalb nur Menschen offen sichtbar filmen, die den Job mittlerweile verlassen haben.

Wie haben Sie Zugang zu den Entscheidungsträgern bekommen, die im Film zu Wort kommen?

Riesewieck: Es gibt einen Kreis von 20 bis 30 ehemaligen Entscheidungsträgern von Facebook, Twitter, YouTube, die bereuen, dass sie mitgeholfen haben, die Geister zu rufen, die wir jetzt nicht mehr loswerden. Sie sehen die große Verantwortung, die ihnen und ihren ehemaligen Arbeitgebern zufällt. Sie sehen, dass die sozialen Netzwerke den Hass gegen Minderheiten schüren, Ausgrenzung fördern, Gesellschaften spalten und Demokratien gefährden. Sie wollen dem „Code of Silence“, der im Silicon Valley herrscht, nicht mehr Folge leisten und sprechen in unserem Film überraschend deutlich aus, was sie denken.

Sie beschäftigen sich jetzt seit vielen Jahren mit dem Thema. Wie hat das bei Ihnen den Blick auf die Welt verändert?

Riesewieck: Seitdem haben sich ein paar globale Konzerne das Internet untereinander aufgeteilt. Alles wird auf diesen Plattformen eingebettet. Was dort nicht vorkommt, ist für Milliarden Menschen nicht existent. Umso wichtiger ist es, genau darauf zu achten, was dort vorkommen darf.

Block: Vielleicht ein Beispiel: Vor der Recherche hätten wir gesagt: Leichen in einem Video? Nein, solche Videos brauchen nun wirklich nicht auf sozialen Netzwerken. Dabei sind solche Videos oft Beweismaterial für zivile Opfer des Krieges, etwa von Luftschlägen der Amerikaner oder Russen. Während journalistische Berichterstattung oft kaum möglich ist in solchen Gebieten, können Videos von Bürgerjournalisten für Aufklärung sorgen – wenn sie nicht sofort gelöscht werden. Entscheidungen darüber, was sichtbar sein sollte auf sozialen Netzwerken, sind deshalb meist extrem knifflig.

Herr Block, Herr Riesewieck, vielen Dank.

"The Cleaners", Regie: Hans Block und Moritz Riesewieck, Dokumentation, Farbfilm-Verleih/Arte, Deutschland, 88 min.
Bis zum 3. September in der Arte-Mediathek abrufbar.