Meta trägt dazu bei, dass aktiv selbstverletzende Inhalte weiterhin gedeihen Instagram durch das Versäumnis, explizite Bilder zu entfernen und diejenigen, die sich mit solchen Inhalten beschäftigen, dazu zu ermutigen, sich gegenseitig anzufreunden, heißt es in einer vernichtenden neuen Studie, die die Moderation als „völlig unzureichend“ befunden hat.
Dänische Forscher haben auf der Social-Media-Plattform ein privates Selbstverletzungsnetzwerk erstellt, das gefälschte Profile von Menschen im Alter von 13 Jahren enthält und 85 selbstverletzungsbezogene Inhalte teilt, deren Schweregrad allmählich zunimmt, darunter Blut, Rasierklingen usw Ermutigung zur Selbstverletzung.
Der Zweck der Untersuchung bestand darin, die Behauptung von Meta zu überprüfen, dass das Unternehmen seine Prozesse zur Entfernung schädlicher Inhalte erheblich verbessert habe und nun künstliche Intelligenz (KI) verwende. Das Technologieunternehmen gibt an, etwa 99 % der schädlichen Inhalte zu entfernen, bevor sie gemeldet werden.
Doch Digital Accountability, eine Organisation, die sich für eine verantwortungsvolle digitale Entwicklung einsetzt, stellte fest, dass in dem einmonatigen Experiment kein einziges Bild entfernt wurde.
Als das Unternehmen ein eigenes einfaches KI-Tool zur Analyse des Inhalts entwickelte, konnte es 38 % der selbstverletzenden Bilder und 88 % der schwerwiegendsten Bilder automatisch identifizieren. Dies, so das Unternehmen, zeige, dass Instagram Zugang zu einer Technologie habe, die das Problem lösen könne, sich aber „entschieden hat, diese nicht effektiv umzusetzen“.
Die unzureichende Moderation der Plattform, so Digitalt Ansvar, lege den Schluss nahe, dass sie nicht dem EU-Recht entspreche.
Gesetz über digitale Dienste erfordert große digitale Dienste, um systemische Risiken zu erkennen, einschließlich vorhersehbarer negativer Folgen für das physische und psychische Wohlbefinden.
Ein Meta-Sprecher sagte: „Inhalte, die zur Selbstverletzung ermutigen, verstoßen gegen unsere Richtlinien und wir entfernen diese Inhalte, wenn wir sie entdecken. Im ersten Halbjahr 2024 haben wir mehr als 12 Millionen Beiträge im Zusammenhang mit Selbstmord und Selbstverletzung auf Instagram entfernt.“ 99 % davon haben wir proaktiv entfernt.
„Anfang dieses Jahres haben wir gestartet Instagram-Accounts für TeenagerDadurch unterliegen Teenager den strengsten Kontrollen für sensible Inhalte, wodurch die Wahrscheinlichkeit, dass ihnen sensible Inhalte empfohlen werden, noch geringer wird. In vielen Fällen verbergen wir diese Inhalte vollständig.“
Die dänische Untersuchung ergab jedoch, dass der Algorithmus von Instagram nicht versuchte, das Selbstverletzungsnetzwerk zu schließen, sondern ihm aktiv bei der Expansion half. Die Studie ergab, dass 13-Jährige sich mit allen Mitgliedern der Selbstverletzungsgruppe anfreunden, nachdem sie mit einem ihrer Mitglieder in Kontakt gebracht wurden.
Dies, so heißt es in der Studie, „deutet darauf hin, dass der Algorithmus von Instagram aktiv zur Bildung und Verbreitung selbstverletzender Netzwerke beiträgt“.
Im Gespräch mit BeobachterAsk Hesby Holm, CEO von Digital Responsibility, sagte, das Unternehmen sei von den Ergebnissen schockiert und habe geglaubt, dass die Alarmglocken auf der Plattform schrillen würden, wenn die Bilder, die es teilte, an Schärfe zunahmen.
„Wir dachten, wenn wir dies schrittweise tun würden, würden wir die Schwelle erreichen, an der KI oder andere Tools diese Bilder erkennen oder identifizieren würden“, sagte er. „Aber große Überraschung – das haben sie nicht getan.“
Er fügte hinzu: „Es war besorgniserregend, weil wir dachten, sie hätten eine Art Maschinerie, die versucht, diesen Inhalt herauszufinden und zu identifizieren.“
nach Newsletter-Werbung
Das Versäumnis, Bilder von Selbstverletzung zu moderieren, könne „schwerwiegende Folgen“ haben, sagte er. „Das hängt eng mit Selbstmord zusammen. Wenn es also niemanden gibt, der diese Gruppen markiert oder etwas gegen sie unternimmt, bleiben sie den Eltern, den Behörden und denen, die helfen können, unbekannt.“ Er glaubt, dass Meta keine kleinen privaten Gruppen moderiert, wie die, die sein Unternehmen gegründet hat, um hohen Traffic und Engagement aufrechtzuerhalten. „Wir wissen nicht, ob sie größere Gruppen moderieren, aber das Problem ist, dass Selbstverletzungsgruppen klein sind“, sagte er.
Lotte Rubæk, eine führende Psychologin, die hat das globale Expertenteam von Meta verlassen Sie hatte im März einen Bericht über Suizidprävention veröffentlicht, nachdem sie ihr vorgeworfen hatte, vor schädlichen Instagram-Inhalten „ein Auge zuzudrücken“. Sie sagte, dass sie von den Gesamtergebnissen zwar nicht überrascht sei, aber schockiert sei, dass die explizitesten Inhalte nicht entfernt wurden.
„Ich hätte nicht gedacht, dass es null von 85 Beiträgen sein würde, die entfernt wurden“, sagte sie. „Ich hatte gehofft, dass es besser wird.
„Sie haben in den Medien immer wieder gesagt, dass sie ihre Technologie ständig verbessern und dass sie die besten Ingenieure der Welt haben. Dies beweist, wenn auch in kleinem Maßstab, dass dies nicht stimmt.“
Rubæk sagte, Metas Versäumnis, Bilder von Selbstverletzungen von seinen Plattformen zu entfernen, habe gefährdete junge Frauen und Mädchen zu weiterer Selbstverletzung „ausgelöst“ und zu steigenden Selbstmordraten beigetragen.
Seit ihrem Ausscheiden aus der globalen Expertengruppe habe sich die Situation auf der Plattform nur verschlechtert, was sich bei ihren Patienten deutlich bemerkbar mache, sagte sie.
Das Thema Selbstverletzung auf Instagram sei für kleine Kinder und Jugendliche eine Frage von Leben und Tod, sagte sie. „Und in gewisser Weise ist es nur ein Kollateralschaden für sie auf dem Weg zur Monetarisierung und Monetarisierung ihrer Plattformen.“
