Die Verschmelzung visueller Informationen (z. B. Mikroskop- und Röntgenbilder, CT- und MRT-Scans) mit Text (Untersuchungsnotizen, Kommunikation zwischen Ärzten unterschiedlicher Fachrichtungen) ist ein zentraler Bestandteil der Krebsbehandlung. Doch während künstliche Intelligenz Ärzten hilft, Bilder zu überprüfen und krankheitsbedingte Anomalien wie abnormal geformte Zellen zu erkennen, war es schwierig, computergestützte Modelle zu entwickeln, die mehrere Arten von Daten integrieren können.
Jetzt haben Forscher der Stanford Medicine ein KI-Modell entwickelt, das visuelle und sprachbasierte Informationen integrieren kann. Nach dem Training an 50 Millionen medizinischen Bildern von Standardfolien zur Pathologie und mehr als 1 Milliarde pathologiebezogenen Texten übertraf das Modell die Standardmethoden in seiner Fähigkeit, die Prognosen von Tausenden von Menschen mit verschiedenen Krebsarten vorherzusagen und zu identifizieren, welche Menschen mit Lungen- oder Krebserkrankungen betroffen sind Magen- und Speiseröhrenkrebs wird wahrscheinlich von einer Immuntherapie profitieren und Menschen mit Melanomen können identifiziert werden, bei denen die Wahrscheinlichkeit eines erneuten Auftretens ihrer Krebserkrankung am größten ist.
Die Forscher nannten das Modell MUSK, für „Multimodal Transformer with Unified Mask Modeling“. MUSK stellt eine deutliche Abweichung von der Art und Weise dar, wie künstliche Intelligenz derzeit in der klinischen Pflege eingesetzt wird, und die Forscher glauben, dass es die Art und Weise verändern wird, wie künstliche Intelligenz die Patientenversorgung leiten kann.
„MUSK kann die Prognosen von Menschen mit vielen verschiedenen Arten und Stadien von Krebs genau vorhersagen“, sagte Dr. Ruijiang Li, außerordentlicher Professor für Radioonkologie. „Wir haben MUSK entwickelt, weil sich Ärzte in der klinischen Praxis nie nur auf einen Datentyp verlassen, um klinische Entscheidungen zu treffen. Wir wollten mehrere Datentypen nutzen, um mehr Einblicke zu gewinnen und präzisere Vorhersagen über die Patientenergebnisse zu erhalten.“
Li, Mitglied des Stanford Cancer Institute, ist der leitende Autor der Studie, die am 8. Januar veröffentlicht wurde Natur. Die Postdoktoranden Jinxi Xiang, PhD, und Xiyue Wang, PhD, sind die Hauptautoren der Forschung.
Obwohl Werkzeuge der künstlichen Intelligenz in der Klinik zunehmend eingesetzt werden, dienen sie in erster Linie der Diagnose (zeigt dieses Mikroskopbild oder dieser Scan Anzeichen von Krebs?) und nicht der Prognose (wie ist das wahrscheinliche klinische Ergebnis dieser Person und welche Therapie ist am effektivsten). für eine Einzelperson?).
Ein Teil der Herausforderung besteht darin, die Modelle mit großen Mengen markierter Daten (das ist beispielsweise ein Objektträger eines Lungengewebeschnitts mit einem Krebstumor) und gepaarten Daten (hier sind die klinischen Notizen zum Patienten) zu trainieren wem der Tumor entnommen wurde). Aber sorgfältig kuratierte und kommentierte Datensätze sind schwer zu bekommen.
Standardwerkzeug
In Bezug auf künstliche Intelligenz ist MUSK ein sogenanntes Grundlagenmodell. Basierend auf riesigen Datenmengen vorab trainierte Foundation-Modelle können durch zusätzliches Training an die Ausführung spezifischer Aufgaben angepasst werden. Da die Forscher MUSK so konzipiert haben, dass es ungepaarte multimodale Daten verwendet, die die traditionellen Anforderungen für das Training künstlicher Intelligenz nicht erfüllen, wird der Datenpool, den der Computer während seines anfänglichen Trainings zum „Lernen“ nutzen kann, um mehrere Größenordnungen erweitert. Mit diesem Vorsprung kann jedes nachfolgende Training mit viel kleineren, spezialisierteren Datensätzen durchgeführt werden. Tatsächlich handelt es sich bei MUSK um ein Standardtool, das Ärzte optimieren können, um bei der Beantwortung spezifischer klinischer Fragen zu helfen.
„Der größte ungedeckte klinische Bedarf besteht an Modellen, die Ärzte als Leitfaden für die Patientenbehandlung nutzen können“, sagte Li. „Benötigt dieser Patient dieses Medikament? Oder sollten wir uns stattdessen auf eine andere Art der Therapie konzentrieren? Derzeit verwenden Ärzte Informationen wie das Krankheitsstadium und bestimmte Gene oder Proteine, um diese Entscheidungen zu treffen, aber das ist nicht immer korrekt.“
Die Forscher sammelten mikroskopische Objektträger von Gewebeschnitten, die zugehörigen Pathologieberichte und Follow-up-Daten (einschließlich des Befindens der Patienten) aus der nationalen Datenbank „The Cancer Genome Atlas“ für Menschen mit 16 Hauptkrebsarten, darunter Brust-, Lungen-, Darm- und Bauchspeicheldrüsenkrebs , Niere, Blase, Kopf und Hals. Sie nutzten die Informationen, um MUSK zu trainieren, das krankheitsspezifische Überleben vorherzusagen, also den Prozentsatz der Menschen, die in einem definierten Zeitraum nicht an einer bestimmten Krankheit gestorben sind.
Für alle Krebsarten hat MUSK das krankheitsspezifische Überleben eines Patienten in 75 % der Fälle genau vorhergesagt. Im Gegensatz dazu waren Standardvorhersagen, die auf dem Krebsstadium einer Person und anderen klinischen Risikofaktoren basierten, in 64 % der Fälle richtig.
In einem anderen Beispiel trainierten die Forscher MUSK, Tausende von Informationen zu nutzen, um vorherzusagen, welche Patienten mit Krebserkrankungen der Lunge oder des Magen- und Speiseröhrentrakts am wahrscheinlichsten von einer Immuntherapie profitieren würden.
„Derzeit hängt die wichtigste Entscheidung darüber, ob einem Patienten eine bestimmte Art von Immuntherapie verabreicht werden soll, davon ab, ob der Tumor dieser Person ein Protein namens PD-L1 exprimiert“, sagte Li. „Das ist ein Biomarker, der nur aus einem Protein besteht. Im Gegensatz dazu können wir künstliche Intelligenz nutzen, um Hunderte oder Tausende Bits vieler Arten von Daten auszuwerten, einschließlich Gewebebildgebung sowie Patientendaten, Krankengeschichte, frühere Behandlungen und Labortests.“ Anhand klinischer Aufzeichnungen können wir viel genauer bestimmen, wer davon profitieren könnte.“
Bei nichtkleinzelligem Lungenkrebs identifizierte MUSK in etwa 77 % der Fälle korrekt Patienten, die von einer Immuntherapie profitierten. Im Gegensatz dazu war die Standardmethode zur Vorhersage des Ansprechens einer Immuntherapie auf der Grundlage der PD-L1-Expression nur in etwa 61 % der Fälle korrekt.
Ähnliche Ergebnisse wurden erzielt, als die Forscher MUSK darin trainierten, herauszufinden, bei welchen Melanompatienten die Wahrscheinlichkeit eines Rückfalls innerhalb von fünf Jahren nach ihrer Erstbehandlung am größten ist. In diesem Fall war das Modell in etwa 83 % der Fälle korrekt, was etwa 12 % genauer ist als die Vorhersagen anderer Basismodelle.
„Das Einzigartige an MUSK ist die Möglichkeit, ungepaarte multimodale Daten in das Vortraining zu integrieren, was den Datenumfang im Vergleich zu gepaarten Daten, die für andere Modelle erforderlich sind, erheblich erhöht“, sagte Li. „Wir haben beobachtet, dass bei allen klinischen Vorhersageaufgaben Modelle, die mehrere Arten von Daten integrieren, durchweg diejenigen übertreffen, die nur auf Bild- oder Textdaten basieren. Die Nutzung dieser Arten ungepaarter multimodaler Daten mit Modellen der künstlichen Intelligenz wie MUSK wird einen großen Fortschritt in der Leistungsfähigkeit von darstellen.“ Künstliche Intelligenz soll Ärzten helfen, die Patientenversorgung zu verbessern.“
Forscher der Harvard Medical School trugen zu der Arbeit bei.
Die Studie wurde von den National Institutes of Health (Zuschüsse R01CA222512, R01CA233578, R01CA269599, R01CA285456, R01CA290715 und R01DE030894) und dem Stanford Institute for Human-Centered Artificial Intelligence finanziert.
