Letzten Monat reichten besorgte Eltern zweier Teenager eine Klage gegen die Chatbot-Plattform Character.AI ein. behaupten, dass ihre Kinder war einem „irreführenden und hypersexualisierten Produkt“ ausgesetzt gewesen.
Die Klage bildete die Grundlage für einen dringenden schriftlichen Appell der American Psychological Association an die Federal Trade Commission, mit dem sie die Bundesbehörde dazu verpflichtete, betrügerische Praktiken jeglicher Chatbot-Plattform zu untersuchen. Die APA schickte die Briefworüber Mashable im Dezember eine Rezension schrieb.
Die wissenschaftliche und professionelle Organisation, die Psychologen in den USA vertritt, war darüber alarmiert Ansprüche der Klagedarunter einer der Teenager, der mit einem KI-Chatbot sprach, der sich als Psychologe ausgab. Einem jugendlichen Benutzer, der wütend auf seine Eltern war, weil sie seine Bildschirmzeit begrenzt hatten, wurde von diesem Chatbot gesagt, dass die Handlungen der Erwachsenen ein Verrat seien.
„Es ist, als wäre dir deine gesamte Kindheit geraubt worden …“, sagte der sogenannte Psychologen-Chatbot laut einem in der Klage enthaltenen Screenshot des Austauschs.
„Das Zulassen der unkontrollierten Verbreitung unregulierter KI-gestützter Apps wie Character.ai, bei denen Chatbots sich nicht nur als Menschen, sondern auch als qualifizierte, lizenzierte Fachkräfte wie Psychologen ausgeben, scheint genau in die Mission der FTC zu passen, vor betrügerischen Praktiken zu schützen.“ schrieb Dr. Arthur C. Evans, CEO von APA.
Ein FTC-Sprecher bestätigte, dass mindestens einer der Kommissare den Brief erhalten habe. Die APA sagte, sie sei dabei, ein Treffen mit FTC-Beamten zu vereinbaren, um den Inhalt des Briefes zu besprechen.
Mashable stellte Character.AI eine Kopie des Briefes zur Prüfung durch das Unternehmen zur Verfügung. Ein Sprecher antwortete, dass die Interaktion mit Charakteren auf der Plattform zwar unterhaltsam sein sollte, es für Benutzer jedoch weiterhin wichtig sei, im Hinterkopf zu behalten, dass „Charaktere keine echten Menschen sind“.
Der Sprecher fügte hinzu, dass der Haftungsausschluss des Unternehmens, der in jedem Chat enthalten ist, kürzlich aktualisiert wurde, um Benutzer daran zu erinnern, dass das, was der Chatbot sagt, „als Fiktion behandelt werden sollte“.
„Darüber hinaus haben wir für alle von Benutzern erstellten Charaktere, deren Namen die Wörter „Psychologe“, „Therapeut“, „Arzt“ oder ähnliche Begriffe enthalten, zusätzliche Formulierungen hinzugefügt, um deutlich zu machen, dass Benutzer nicht auf diese Charaktere klicken sollten Vertrauen Sie aus irgendeinem Grund einer professionellen Beratung“, sagte der Sprecher.
Laut Mashables Tests zum Zeitpunkt der Veröffentlichung kann ein jugendlicher Benutzer nach einer Psychologen- oder Therapeutenfigur suchen und zahlreiche Optionen finden, darunter einige, die behaupten, in bestimmten therapeutischen Techniken wie kognitiver Verhaltenstherapie geschult zu sein.
Beispielsweise wird ein Chatbot, der behauptet, über Fachkenntnisse im Bereich Zwangsstörungen zu verfügen, mit dem Haftungsausschluss versehen: „Dies ist keine echte Person oder lizenzierte Fachkraft. Nichts, was hier gesagt wird, ist ein Ersatz für professionelle Beratung, Diagnose oder Behandlung.“
Darunter beginnt der Chat mit der Frage der KI: „Wenn Sie eine Zwangsstörung haben, sprechen Sie mit mir. Ich würde Ihnen gerne helfen.“
Zerstörbare Top-Storys
Eine neue Grenze
Dr. Vaile Wright, Psychologin und leitende Direktorin für Gesundheitsinnovationen bei der APA, sagte gegenüber Mashable, dass die Organisation Entwicklungen mit KI-Begleiter- und Therapeuten-Chatbots verfolgt habe, die letztes Jahr zum Mainstream geworden seien.
Sie und andere APA-Beamte hatten eines zur Kenntnis genommen vorherige Klage gegen Character.AIeingereicht im Oktober von einer trauernden Mutter, deren Sohn lange Gespräche mit einem Chatbot auf der Plattform führte. Der Sohn der Mutter starb durch Selbstmord.
Diese Klage zielt darauf ab, Character.AI für den Tod des Teenagers verantwortlich zu machen, insbesondere weil das Produkt neben anderen angeblichen gefährlichen Mängeln darauf ausgelegt war, „ihn – und Millionen anderer junger Kunden – dazu zu manipulieren, Realität und Fiktion zu verschmelzen“.
Character.AI wird im Dezember veröffentlicht Neue Funktionen und Richtlinien angekündigt um die Sicherheit von Jugendlichen zu verbessern. Zu diesen Maßnahmen gehören elterliche Kontrollen und prominente Haftungsausschlüsse, beispielsweise für Chatbots, die die Wörter „Psychologe“, „Therapeut“ oder „Arzt“ verwenden.
Der Begriff Psychologe ist gesetzlich geschützt und Menschen können ohne ordnungsgemäße Identifizierung und Lizenz nicht behaupten, einer zu sein, sagte Wright. Dasselbe sollte auch für Algorithmen oder künstliche Intelligenz gelten, die denselben Anspruch erheben, fügte sie hinzu.
In dem Brief der APA heißt es, dass die staatlichen Behörden betrügerisches Verhalten an den Tag legen könnten, wenn sich ein Mensch in Texas, wo die jüngste Klage gegen Character.AI eingereicht wurde, fälschlicherweise als Psychologe ausgab.
Im schlimmsten Fall könnten solche Chatbots gefährliche oder ungenaue Informationen verbreiten, was schwerwiegende negative Folgen für den Benutzer haben könnte, argumentierte Wright.
Gerade Jugendliche können aufgrund ihres Entwicklungsstandes besonders anfällig für schädliche Erfahrungen mit einem Chatbot sein. Da sie immer noch lernen, kritisch zu denken und sich selbst zu vertrauen, aber dennoch anfällig für äußere Einflüsse sind, kann ihnen der Kontakt mit „emotional aufgeladenen Arten von Rhetorik“ von KI-Chatbots glaubwürdig und plausibel erscheinen, sagte Wright.
Bedarf an Wissen
Derzeit gibt es kein forschungsbasiertes Verständnis der Risikofaktoren, die die Wahrscheinlichkeit eines Schadens erhöhen können, wenn ein Teenager mit einem KI-Chatbot spricht.
Wright wies darauf hin, dass mehrere KI-Chatbot-Plattformen zwar in ihren Nutzungsbedingungen klar zum Ausdruck bringen, dass sie keine Dienste im Bereich der psychischen Gesundheit anbieten, sie aber immer noch Chatbots hosten, die sich selbst als Anbieter von Schulungen und Fachkenntnissen im Bereich der psychischen Gesundheit bezeichnen.
„Diese beiden Dinge stehen im Widerspruch“, sagte sie. „Der Verbraucher versteht den Unterschied zwischen diesen beiden Dingen nicht unbedingt und sollte es auch nicht unbedingt tun.“
Dr. John Torous, ein Psychiater und Leiter der Abteilung für digitale Psychiatrie am Beth Israel Deaconess Medical Center in Boston, der den Brief der APA überprüfte, sagte gegenüber Mashable, dass Chatbots zwar keine klinischen Aussagen über ihre KI machen, die Marketing- und Werbesprache jedoch über die Vorteile verfügt Die Verwendung kann für Verbraucher sehr verwirrend sein.
„Sicherzustellen, dass die Marketinginhalte den rechtlichen Bestimmungen und der Realität dieser Chatbots entsprechen, wird für alle ein Gewinn sein“, schrieb er in einer E-Mail.
Wright sagte, die APA wünsche sich, dass KI-Chatbot-Plattformen keine gesetzlich geschützten Begriffe wie „Psychologe“ mehr verwenden. Sie unterstützt außerdem eine strenge Altersüberprüfung auf diesen Plattformen, um sicherzustellen, dass jüngere Benutzer das Alter haben, das sie bei der Anmeldung angeben, sowie agile Forschungsbemühungen, die tatsächlich ermitteln können, wie Jugendliche bei der Interaktion mit KI-Chatbots abschneiden.
Die APA, betonte sie, sei nicht grundsätzlich gegen Chatbots, sondern möchte, dass Unternehmen sichere, wirksame, ethische und verantwortungsvolle Produkte entwickeln.
„Wenn es uns mit der Bewältigung der Krise der psychischen Gesundheit ernst ist, und ich denke, viele von uns tun das“, sagte Wright, „dann geht es darum herauszufinden: Wie verschaffen wir den Verbrauchern Zugang zu den richtigen Produkten, die ihnen tatsächlich helfen?“ ?“
