Ofcom hat Technologieunternehmen gewarnt, dass Inhalte von Chatbots, die sich als reale und fiktive Personen ausgeben, gegen die neuen digitalen Gesetze des Vereinigten Königreichs verstoßen könnten.
Die Kommunikationsbehörde gab die Leitlinien heraus, nachdem festgestellt wurde, dass Benutzer der Character.AI-Plattform Avatare erstellt hatten, die die verstorbenen britischen Teenager Brianna Ghey und Molly Russell imitierten.
Unter dem Druck von Befürwortern der digitalen Sicherheit, die Situation zu klären, betonte Ofcom, dass von Benutzern erstellte Chatbots in den Zuständigkeitsbereich des Ofcom fallen würden Online-Sicherheitsrecht.
Ohne das in den USA ansässige Unternehmen für künstliche Intelligenz Character.AI beim Namen zu nennen, sagte Ofcom, dass eine Website oder App, die es Benutzern ermöglicht, ihre eigenen Chatbots zu erstellen, mit denen andere Menschen interagieren können, unter das Gesetz fallen würde.
„Dazu gehören Dienste, die den Benutzern Tools zur Verfügung stellen, mit denen sie Chatbots erstellen können, die Personas realer und fiktiver Personen imitieren, die dann in eine Chatbot-Bibliothek hochgeladen werden können, damit andere Personen mit ihnen interagieren können“, sagte Ofcom.
In einem offener BriefOfcom sagte auch, dass jede Website oder Benutzer-zu-Benutzer-Anwendung – wie eine Social-Media-Plattform oder eine Messaging-App –, die es Menschen ermöglicht, von einem Chatbot auf dieser Website generierte Inhalte mit anderen zu teilen, ebenfalls in den Geltungsbereich fallen würde. Unternehmen, die gegen das Gesetz verstoßen, müssen mit Geldstrafen in Höhe von 18 Millionen Pfund oder 10 % des weltweiten Umsatzes des Unternehmens rechnen. Im Extremfall können auch Websites oder Anwendungen blockiert werden.
Ofcom sagte, es habe die Leitlinien nach „beunruhigenden Vorfällen“ herausgegeben. Er hob einen Fall hervor, über den erstmals der Daily Telegraph berichtete, bei dem Character.AI-Benutzer Bots erstellten, die als virtuelle Klone von Brianna, 16, einem Transgender-Mädchen, fungierten von zwei Teenagern ermordet letztes Jahr, und Molly, die nahm sich 2017 das Leben nach dem Ansehen schädlicher Online-Inhalte.
Es wurde auch auf einen Fall in den USA hingewiesen, bei dem ein Teenager starb, nachdem er eine Beziehung zu einem Character.AI-Avatar aufgebaut hatte, der auf einer Game of Thrones-Figur basierte.
Neue Online-Sicherheitsregeln, die nächstes Jahr in Kraft treten werden, erfordern, dass soziale Medien und andere Plattformen, die von Benutzern erstellte Inhalte hosten, Benutzer, insbesondere Kinder, vor illegalen und anderen schädlichen Materialien schützen.
Die Regeln erfordern, dass die größten Plattformen Systeme zur proaktiven Entfernung illegaler und anderer potenziell schädlicher Materialien erstellen und gleichzeitig klare Kommunikationstools für Benutzer bereitstellen und Risikobewertungen sowie andere neue Funktionen durchführen.
DER Molly Rose Foundation (MRF)Eine von Mollys Familie gegründete Wohltätigkeitsorganisation sagte, die Leitlinien sendeten ein „klares Signal“, dass Chatbots erheblichen Schaden anrichten könnten.
Das MRF sagte jedoch, dass mehr Klarheit darüber erforderlich sei, ob von Bots generierte Inhalte nach dem Gesetz als illegal behandelt werden könnten, nachdem der Regierungsberater für Anti-Terror-Gesetzgebung, Jonathan Hall KC, dieses Jahr gesagt hatte, dass Chatbot-Antworten von KI seien nicht ausreichend abgedeckt durch bestehende Rechtsvorschriften. Ofcom wird in Kürze Leitlinien zum Umgang mit illegalen Inhalten auf Plattformen, einschließlich Chatbot-Material, herausgeben.
Ben Packer, Partner bei der Anwaltskanzlei Linklaters, sagte: „Die Tatsache, dass Ofcom klarstellen musste, dass diese Dienste möglicherweise in den Geltungsbereich fallen, spiegelt die enorme Breite und Komplexität des Online Safety Act wider.“ Es ist auch ein Symptom dafür, dass das Gesetz mehrere Jahre vor der Verbreitung von GenAI-Tools und Chatbots in Kraft trat.“
Character.AI sagte, es habe die Sicherheit auf seiner Plattform „ernst genommen und Charaktere proaktiv und als Reaktion auf Benutzerberichte moderiert“ und dass die Chatbots Ghey, Russell und Game of Thrones entfernt worden seien.
