Stellen Sie sich vor, Sie gehen zum Arzt, sagen ihm genau, wie Sie sich fühlen, und dann fügt eine Transkription später falsche Informationen hinzu und verändert Ihre Geschichte. Dies könnte in medizinischen Zentren der Fall sein, die Whisper, das Transkriptionstool von OpenAI, verwenden. Über ein Dutzend Entwickler, Software-Ingenieure und akademische Forscher haben Beweise dafür gefunden Flüstern erzeugt Halluzinationen – erfundene Texte – die erfundene Medikamente, rassistische Kommentare und gewalttätige Bemerkungen enthalten, ABC-Nachrichten Berichte. Dennoch verzeichnete die Open-Source-KI-Plattform HuggingFace im letzten Monat 4,2 Millionen Downloads der neuesten Version von Whisper. Das Tool ist neben einigen Versionen von ChatGPT auch in die Cloud-Computing-Plattformen von Oracle und Microsoft integriert.
Die schädlichen Beweise sind recht umfangreich, und Experten stellen in allen Bereichen erhebliche Mängel bei Whisper fest. Nehmen wir zum Beispiel einen Forscher der University of Michigan, der in acht von zehn Audiotranskriptionen öffentlicher Versammlungen erfundenen Text fand. In einer anderen Studie fanden Informatiker bei der Analyse von über 13.000 Audioaufnahmen 187 Halluzinationen. Der Trend setzt sich fort: Ein Ingenieur für maschinelles Lernen fand sie in etwa der Hälfte von Transkriptionen im Umfang von über 100 Stunden, während ein Entwickler in fast allen der 26.000 Transkriptionen, die er hatte, Halluzinationen entdeckte Flüstern erstellen.
Die potenzielle Gefahr wird noch deutlicher, wenn man sich konkrete Beispiele dieser Halluzinationen ansieht. Zwei Professoren, Allison Koenecke und Mona Sloane von der Cornell University bzw. der University of Virginia, schauten sich Clips aus einem Forschungsarchiv namens TalkBank an. Das Paar fand das fast 40 Prozent der Halluzinationen konnte möglicherweise falsch interpretiert oder falsch dargestellt werden. In einem Fall erfand Whisper, dass drei besprochene Personen Schwarze seien. In einem anderen Fall änderte Whisper: „Er, der Junge, wollte, ich weiß es nicht genau, den Regenschirm nehmen.“ zu „Er hat ein großes Stück eines Kreuzes genommen, ein winziges, kleines Stück … Ich bin sicher, er hatte kein Terrormesser, also hat er eine Reihe von Menschen getötet.“
Whispers Halluzinationen haben auch riskante medizinische Auswirkungen. Eine Firma rief an Nabla nutzt Whisper für sein medizinisches Transkriptionstool, das von über 30.000 Ärzten und 40 Gesundheitssystemen verwendet wird und bisher schätzungsweise sieben Millionen Besuche transkribiert. Obwohl das Unternehmen sich des Problems bewusst ist und angibt, es zu beheben, gibt es derzeit keine Möglichkeit, die Gültigkeit der Transkripte zu überprüfen. Laut Martin Raison, Chief Technology Officer von Nabla, löscht das Tool alle Audiodaten aus „Datensicherheitsgründen“. Das Unternehmen behauptet außerdem, dass Anbieter die Transkriptionen schnell bearbeiten und genehmigen müssen (bei all der zusätzlichen Zeit, die Ärzte haben?), dass sich dieses System jedoch ändern kann. In der Zwischenzeit kann aus Datenschutzgründen niemand sonst bestätigen, dass die Transkriptionen korrekt sind.
