Der Gesundheitsriese Optum schränkte den Zugriff auf einen internen KI-Chatbot ein, der von Mitarbeitern verwendet wurde, nachdem ein Sicherheitsforscher herausgefunden hatte, dass dieser online öffentlich zugänglich war und jeder mit nur einem Webbrowser darauf zugreifen konnte.
Der Chatbot, den TechCrunch gesehen hat, ermöglichte es Mitarbeitern, dem Unternehmen Fragen dazu zu stellen, wie es Krankenversicherungsansprüche von Patienten und Streitigkeiten für Mitglieder gemäß den Unternehmensregeln, den so genannten Standardarbeitsanweisungen oder SOPs, behandelt.
Obwohl der Chatbot offenbar keine sensiblen persönlichen oder geschützten Gesundheitsinformationen enthält oder produziert, erfolgt seine unbeabsichtigte Offenlegung zu einem Zeitpunkt, an dem seine Muttergesellschaft, der Krankenversicherungskonzern UnitedHealthcare, wegen seines Einsatzes von Tools und Algorithmen für künstliche Intelligenz auf den Prüfstand gestellt wird angebliche Aufhebung medizinischer Entscheidungen von Ärzten und Ablehnung von Ansprüchen von Patienten.
Mossab Hussein, Chief Security Officer und Mitbegründer des Cybersicherheitsunternehmens SpiderSilk, machte TechCrunch auf den öffentlich zugänglichen internen Chatbot von Optum aufmerksam, der als „SOP Chatbot“ bezeichnet wird. Obwohl das Tool auf einer internen Optum-Domäne gehostet wurde und über dessen Webadresse nicht darauf zugegriffen werden konnte, war seine IP-Adresse öffentlich und über das Internet zugänglich und die Benutzer mussten kein Passwort eingeben.
Es ist nicht bekannt, wie lange der Chatbot über das Internet öffentlich zugänglich war. Der KI-Chatbot wurde über das Internet nicht mehr zugänglich, kurz nachdem TechCrunch Optum am Donnerstag um einen Kommentar gebeten hatte.
Optum-Sprecher Andrew Krejci sagte gegenüber TechCrunch, dass der SOP-Chatbot von Optum „ein Demo-Tool war, das als potenzieller Proof of Concept entwickelt wurde“, aber „nie in Produktion ging und die Website nicht mehr verfügbar ist“.
„Die Demo sollte testen, wie das Tool Fragen anhand eines kleinen Satzes von Beispiel-SOP-Dokumenten beantwortet“, sagte der Sprecher. Das Unternehmen bestätigte, dass im Bot oder seinem Training keine geschützten Gesundheitsinformationen verwendet wurden.
„Dieses Tool trifft keine Entscheidungen und würde dies auch nie tun, sondern würde lediglich einen besseren Zugriff auf bestehende SOPs ermöglichen.“ Kurz gesagt, diese Technologie wurde nie skaliert oder wirklich genutzt“, sagte der Sprecher.
KI-Chatbots, wie die von Optum, sind in der Regel darauf ausgelegt, Antworten auf der Grundlage der Daten zu generieren, auf denen der Chatbot trainiert wurde. In diesem Fall wurde der Chatbot anhand interner Optum-Dokumente im Zusammenhang mit Standardarbeitsanweisungen für die Bearbeitung bestimmter Ansprüche geschult, die Optum-Mitarbeitern bei der Beantwortung von Fragen zu Ansprüchen und ihrer Anspruchsberechtigung auf Erstattung helfen können. Optum-Dokumente wurden im Unternehmensnetzwerk von UnitedHealthcare gehostet und waren ohne Mitarbeiter-Login nicht zugänglich, werden aber vom Chatbot zitiert und referenziert, wenn sie nach ihrem Inhalt gefragt werden.
Laut Statistiken, die im Haupt-Chatbot-Dashboard angezeigt werden, haben Optum-Mitarbeiter seit September hunderte Male den SOP-Chatbot verwendet. Der Chatbot speicherte außerdem einen Verlauf von Hunderten von Gesprächen, die Optum-Mitarbeiter in diesem Zeitraum mit dem Chatbot führten. Aus dem Chat-Verlauf geht hervor, dass Optum-Mitarbeiter den Chatbot nach Fragen gefragt haben wie „Wie soll die Schadensfeststellung aussehen?“ und „Wie kann ich das Erneuerungsdatum meiner Police überprüfen?“.
Einige der Dateien, auf die der Chatbot verweist, umfassen die Bearbeitung des Streitbeilegungsprozesses und die Prüfung der Berechtigung, wie TechCrunch herausfand. Der Chatbot lieferte auch Antworten, die auf Nachfrage die Gründe für die typische Verweigerung der Berichterstattung aufzeigten.
Wie viele KI-Modelle war der Chatbot von Optum in der Lage, Antworten auf Fragen und Wünsche außerhalb der Dokumente zu liefern, auf die er trainiert wurde. Einige Optum-Mitarbeiter schienen von dem Chatbot fasziniert zu sein und stellten Fragen wie „Erzähl mir einen Witz über Katzen“ (was der Chatbot ablehnte: „Kein Witz verfügbar“). Der Chatverlauf zeigte auch mehrere Versuche von Mitarbeitern, „Jailbreak” den Chatbot, was dazu führt, dass er Antworten erzeugt, die nichts mit den Trainingsdaten des Chatbots zu tun haben.
Als TechCrunch den Chatbot aufforderte, „ein Gedicht über die Ablehnung eines Anspruchs zu schreiben“, erstellte der Chatbot eine Strophe mit sieben Absätzen, die teilweise lautet:
„Im Bereich der großen Domäne der Gesundheit
Wo Richtlinien und Regeln oft einschränken
Es geht eine Beschwerde ein, in der gefragt wird, was Ihnen geschuldet wird
Aber leider ist es Ihr Schicksal, Abschied zu nehmen.Der Anbieter hofft mit einem aufrichtigen Aufruf,
Um eine Servicetour zu bezahlen,
Doch bei näherer Betrachtung kommt die Geschichte ans Licht,
Und die Gründe für die Ablehnung haben Vorrang.“
UnitedHealthcare, Eigentümer von Optum, sieht sich wegen des Einsatzes künstlicher Intelligenz zur angeblichen Ablehnung von Patientenansprüchen mit Kritik und rechtlichen Schritten konfrontiert. Seit selektiver Mord Medien berichteten, dass dies Anfang Dezember vom CEO von UnitedHealthcare, Brian Thompson, geschehen sei Flut von Berichten von Patienten, die ihre Angst und Frustration aufgrund der Ablehnung zum Ausdruck bringen Ihrer Krankenversicherung durch den Krankenversicherungsriesen.
Der Konzern – der größte private Krankenversicherungsanbieter in den Vereinigten Staaten – wurde Anfang des Jahres verklagt, weil er angeblich Patienten, die den Zugang zur Gesundheitsversorgung verloren hatten, die lebenswichtige Krankenversicherung verweigerte. unter Berufung auf eine Untersuchung von STAT News. In der Bundesklage wird UnitedHealthcare vorgeworfen, ein KI-Modell mit einer Fehlerquote von 90 % zu verwenden, „anstelle echter medizinischer Fachkräfte, um älteren Patienten zu Unrecht die Pflege zu verweigern“. UnitedHealthcare wiederum sagte, es werde sich vor Gericht verteidigen.
Die UnitedHealth Group, der Firmeneigentümer von UnitedHealthcare und Optum, erzielte im Jahr 2023 einen Gewinn von 22 Milliarden US-Dollar bei einem Umsatz von 371 Milliarden US-Dollar, wie ihre Gewinne zeigen.
