Generative KI verfügt über eine Vielzahl gut dokumentierter Fähigkeiten Missbrauchvon Anfertigung wissenschaftlicher Arbeiten Zu Künstler kopieren. Und jetzt scheint es bei staatlichen Einflussnahmen zum Vorschein zu kommen.
Eine kürzlich durchgeführte Kampagne wurde „sehr wahrscheinlich“ durch kommerzielle KI-sprachgenerierende Produkte unterstützt, darunter auch durch öffentlich bekannt gegebene Technologien Hotboot ElevenLabs, laut a Aktueller Bericht vom in Massachusetts ansässigen Threat-Intelligence-Unternehmen Recorded Future.
Der Bericht beschreibt eine mit Russland in Verbindung stehende Kampagne mit dem Namen „Operation Undercut“, die darauf abzielt, die Unterstützung Europas für die Ukraine zu untergraben und bei der vor allem KI-generierte Voice-Overs in falschen oder irreführenden „Nachrichten“-Videos zum Einsatz kommen.
Die an die europäische Öffentlichkeit gerichteten Videos griffen unter anderem ukrainische Politiker als korrupt an oder stellten den Sinn der Militärhilfe für die Ukraine in Frage. In einem Video wurde beispielsweise verkündet, dass „nicht einmal Störsender amerikanische Abrams-Panzer retten können“, und bezog sich dabei auf die Vorrichtungen, mit denen US-Panzer ankommende Raketen abwehren – was die Vorstellung bestärkte, dass der Versand von High-Tech-Panzerung in die Ukraine nutzlos sei.
In dem Bericht heißt es, dass die Ersteller des Videos „sehr wahrscheinlich“ sprachgenerierte KI, einschließlich ElevenLabs-Technologie, verwendet haben, um ihre Inhalte legitimer erscheinen zu lassen. Um dies zu überprüfen, schickten die Forscher von Recorded Future die Clips an ElevenLabs selbst. KI-Sprachklassifikator, Dadurch kann jeder „erkennen, ob ein Audioclip mit ElevenLabs erstellt wurde“ und eine Übereinstimmung erhalten.
ElevenLabs antwortete nicht auf Anfragen nach Kommentaren. Während Recorded Future auf den wahrscheinlichen Einsatz mehrerer kommerzieller KI-Sprachgenerierungstools hinwies, erwähnte es kein anderes als ElevenLabs.
Die Nützlichkeit der KI-Stimmenerzeugung wurde unbeabsichtigt von den Organisatoren der Einflusskampagne selbst demonstriert, die – eher nachlässig – einige Videos mit echten menschlichen Sprechern veröffentlichten, die „einen erkennbaren russischen Akzent“ hatten. Im Gegensatz dazu sprachen die KI-generierten Voice-Overs in mehreren europäischen Sprachen wie Englisch, Französisch, Deutsch und Polnisch, ohne ausländische Akzente.
Laut Recorded Future ermöglichte die KI auch die schnelle Verbreitung der betrügerischen Clips in mehreren in Europa gesprochenen Sprachen wie Englisch, Deutsch, Französisch, Polnisch und Türkisch (eigentlich in allen Sprachen). unterstützt von ElevenLabs.)
Recorded Future führte die Aktivität auf die Social Design Agency zurück, eine in Russland ansässige Organisation der US-Regierung sanktioniert im März dieses Jahres wegen der Verwaltung „eines Netzwerks von mehr als 60 Websites, die sich als echte Nachrichtenorganisationen in Europa ausgaben und dann gefälschte Social-Media-Konten nutzten, um den irreführenden Inhalt der gefälschten Websites zu verstärken“. All dies sei „im Namen der Regierung der Russischen Föderation“ geschehen, erklärte das US-Außenministerium damals.
Die Gesamtwirkung der Kampagne auf die öffentliche Meinung in Europa sei minimal, kam Recorded Future zu dem Schluss.
Dies ist nicht das erste Mal, dass ElevenLabs-Produkte wegen angeblichen Missbrauchs zur Verantwortung gezogen werden. Die Technologie des Unternehmens steckte hinter einem automatisierten Anruf, der sich als Präsident Joe Biden ausgab und die Wähler dazu aufforderte, während der Vorwahlen im Januar 2024 nicht zur Wahl zu gehen, kam ein Unternehmen zur Erkennung von Stimmbetrug zu dem Schluss: laut Bloomberg. Als Reaktion darauf teilte ElevenLabs mit, dass es neue Sicherheitsfunktionen eingeführt habe, beispielsweise die automatische Blockierung der Stimmen von Politikern.
ElfLabs Verbote „unerlaubte, schädliche oder irreführende Darstellung“ und es heißt Um dies durchzusetzen, werden verschiedene Tools eingesetzt, beispielsweise automatisierte und menschliche Moderation.
ElevenLabs hat seit seiner Gründung im Jahr 2022 ein explosionsartiges Wachstum erlebt erhöhte den ARR von 25 Millionen US-Dollar auf 80 Millionen US-Dollar vor weniger als einem Jahr und könnte bald einen Wert von 3 Milliarden US-Dollar haben, berichtete TechCrunch zuvor. Zu seinen Investoren zählen Andreessen Horowitz und der ehemalige Github-CEO Nat Friedman.
