Kurz nach dem Start von OpenAI o1Als die Menschen ihr erstes „argumentierendes“ KI-Modell entwickelten, begannen sie, ein merkwürdiges Phänomen zu bemerken. Das Modell begann manchmal in Chinesisch, Persisch oder einer anderen Sprache zu „denken“ – selbst wenn es eine Frage auf Englisch stellte.
Bei einem zu lösenden Problem – zum Beispiel „Wie viele R gibt es im Wort ‚Erdbeere‘?“ – würde o1 seinen „Denkprozess“ beginnen und durch die Ausführung einer Reihe von Argumentationsschritten zu einer Antwort gelangen. Wenn die Frage auf Englisch verfasst wäre, wäre die endgültige Antwort von o1 auf Englisch. Das Modell würde jedoch einige Schritte in einer anderen Sprache ausführen, bevor es zu seiner Schlussfolgerung gelangt.
„(O1) hat mittendrin zufällig angefangen, auf Chinesisch zu denken“, ein Reddit-Benutzer sagte er.
„Warum hat (o1) zufällig angefangen, auf Chinesisch zu denken?“ fragte ein anderer Benutzer in a Beitrag auf X. „Kein Teil des Gesprächs (mehr als 5 Nachrichten) war auf Chinesisch.“
Warum hat o1 pro zufällig angefangen, auf Chinesisch zu denken? Kein Teil der Konversation (mehr als 5 Nachrichten) war auf Chinesisch… sehr interessant… Einfluss der Trainingsdaten pic.twitter.com/yZWCzoaiit
-Rishab Jain (@RishabJainK) 9. Januar 2025
OpenAI lieferte keine Erklärung für das seltsame Verhalten von o1 – es gab es nicht einmal zu. Was könnte also passieren?
Nun, KI-Experten sind sich nicht sicher. Aber sie haben einige Theorien.
Mehrere auf X, darunter Hugging Face-CEO Clément Delangue angedeutet Dies liegt daran, dass Argumentationsmodelle wie o1 auf Datensätzen trainiert werden, die viele chinesische Schriftzeichen enthalten. Google DeepMind-Forscher Ted Xiao sagte, dass Unternehmen wie OpenAI chinesische Datenkennzeichnungsdienste von Drittanbietern nutzen und dass die Umstellung auf Chinesisch ein Beispiel für „chinesischen sprachlichen Einfluss auf das Denken“ sei.
„(Labore wie) OpenAI und Anthropic nutzen (Drittanbieter-)Datenkennzeichnungsdienste für Argumentationsdaten auf Doktorandenebene für Naturwissenschaften, Mathematik und Codierung“, schrieb Xiao in einem Beitrag auf X. „Aus Gründen der Verfügbarkeit qualifizierter Arbeitskräfte und aus Kostengründen haben viele dieser Datenanbieter ihren Sitz in China.“
Beschriftungen, auch Tags oder Anmerkungen genannt, helfen Modellen, Daten während des Trainingsprozesses zu verstehen und zu interpretieren. Beschriftungen zum Trainieren eines Bilderkennungsmodells können beispielsweise die Form von Markierungen um Objekte oder Bildunterschriften annehmen, die sich auf jede Person, jeden Ort oder jedes Objekt beziehen, die in einem Bild dargestellt werden.
Studien haben gezeigt, dass voreingenommene Etiketten zu voreingenommenen Modellen führen können. Zum Beispiel die durchschnittlicher Kommentator Es ist wahrscheinlicher, dass Phrasen in African American Vernacular English (AAVE), der von einigen schwarzen Amerikanern verwendeten informellen Grammatik, als giftig gekennzeichnet werden. Führende KI-Toxizitätsdetektoren wurden auf die Etiketten trainiert, um AAVE als unverhältnismäßig giftig einzustufen.
Andere Experten akzeptieren die chinesische Datenkennzeichnungshypothese jedoch nicht. Sie weisen darauf hin, dass o1 die gleiche Wahrscheinlichkeit hat, sich zu zu ändern Hindi, Thailändischoder eine andere Sprache als Chinesisch, während Sie nach einer Lösung suchen.
Stattdessen sagen diese Experten: o1 und andere Argumentationsmodelle es könnte einfach sein Sprachen nutzen als effizienter betrachten, um ein Ziel zu erreichen (oder halluzinieren).
„Das Modell weiß nicht, was die Sprache ist oder dass Sprachen unterschiedlich sind“, sagte Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, gegenüber TechCrunch. „Es ist alles nur eine SMS.“
Tatsächlich verarbeiten Modelle Wörter nicht direkt. Sie nutzen Chips anstatt. Chips er kann Seien Sie Wörter wie „fantastisch“. Oder es können Silben sein, wie „fan“, „tas“ und „tic“. Oder es können sogar einzelne Zeichen in Wörtern sein – zum Beispiel „f“, „a“, „n“, „t“, „a“, „s“, „t“, „i“, „c“.
Genau wie die Kennzeichnung können Token zu Voreingenommenheit führen. Beispielsweise gehen viele Wort-zu-Token-Übersetzer davon aus, dass ein Leerzeichen in einem Satz ein neues Wort bezeichnet, obwohl nicht alle Sprachen Leerzeichen zum Trennen von Wörtern verwenden.
Tiezhen Wang, Softwareentwickler beim KI-Startup Hugging Face, stimmt mit Guzdial darin überein, dass die sprachlichen Inkonsistenzen von Argumentationsmodellen durch Assoziationen erklärt werden können, die die Modelle während des Trainings herstellen.
„Indem wir alle sprachlichen Nuancen berücksichtigen, erweitern wir die Weltanschauung des Modells und ermöglichen ihm, aus dem gesamten Spektrum menschlichen Wissens zu lernen“, sagte Wang. er schrieb in einem Beitrag auf X. „Zum Beispiel mache ich Mathe am liebsten auf Chinesisch, weil jede Ziffer nur eine Silbe hat, was Berechnungen klar und effizient macht.“ Aber wenn es um Themen wie unbewusste Voreingenommenheit geht, wechsle ich automatisch auf Englisch, vor allem weil ich diese Ideen dort zum ersten Mal gelernt und aufgenommen habe.“
Wangs Theorie ist plausibel. Schließlich sind Modelle Wahrscheinlichkeitsmaschinen. Anhand zahlreicher Beispiele lernen sie Muster für Vorhersagen kennen, wie z. B. „für wen“ in einer E-Mail typischerweise vor „könnte von Interesse sein“ steht.
Aber Luca Soldaini, Forscher am gemeinnützigen Allen Institute for AI, warnte, dass wir nicht sicher sein können. „Aufgrund der Undurchsichtigkeit dieser Modelle ist es unmöglich, diese Art von Beobachtung in einem eingesetzten KI-System zu untermauern“, sagte er gegenüber TechCrunch. „Dies ist einer von vielen Fällen, in denen Transparenz beim Aufbau von KI-Systemen von entscheidender Bedeutung ist.“
Ohne eine Antwort von OpenAI fragen wir uns, warum o1 daran denkt Lieder auf Französisch, aber Synthetische Biologie auf Mandarin.
