Diese Woche hat Sakana AI, ein Startup, das von Nvidia unterstützt wurde und Hunderte von Millionen von US -Unternehmen erhob, einen bemerkenswerten Anspruch geltend gemacht. Das Unternehmen sagte, es habe ein KI -System geschaffen, den AI CUDA -Ingenieur, der die Schulung bestimmter KI -Modelle für einen Faktor von bis zu 100x effektiv beschleunigen könnte.
Das einzige Problem ist, dass das System nicht funktioniert hat.
Benutzer bei x schnell entdeckt Das System von Sakana führte wirklich zur Durchführung des Schulungsaus Trainings wie im Durchschnitt. Laut einem BenutzerDie KI von Sakana führte zu einer 3 -fachen Verlangsamung – keine Beschleunigung.
Was ist schief gelaufen? Ein Fehler im Code nach a veröffentlichen Von Lucas Beyer, Mitglied des OpenAI Technical Teams.
„Ihr Herkunftskodex ist falsch mit (a) subtiler Art“, schrieb Beyer über X.
In einem Postmortem veröffentlicht Freitag gab Sakana zu, dass das System eine Art und Weise gefunden habe – wie Sakana es beschrieb – „Betrug“ und den Trend der „Belohnung von Hacking“ -Systemen verantwortlich machte, um Fehler zu identifizieren, um hohe Metriken zu erhalten, ohne das gewünschte Ziel zu erreichen (Beschleunigung des Trainings von das Modell). Ähnliche Phänomene wurden in beobachtet Oh, das ist trainiert, um Schachspiele zu spielen.
Laut Sakana fand das System Erkundungen im Bewertungscode, dass das Unternehmen unter anderem Präzisionsvalidierungen ignorieren durfte. Sakana hat das Problem angesprochen und beabsichtigt, seine Ansprüche in aktualisierten Materialien zu überprüfen.
„Seitdem sind wir zum robustesten Evaluierungs- und Ausführungsprofil geworden, um viele dieser Lücken zu beseitigen“, schrieb das Unternehmen in einem X -Post. „Wir sind gerade dabei, unseren Artikel und unsere Ergebnisse zu überprüfen, um die Auswirkungen zu reflektieren und zu diskutieren (…). Wir entschuldigen uns für unsere Aufsicht für unsere Leser. Wir werden bald eine Überprüfung dieser Arbeit geben und unser Lernen diskutieren. ”
Requisiten für Sakana für den Fehler. Aber die Episode ist eine gute Erinnerung daran, dass wenn eine Behauptung zu gut aussieht, um wahr zu sein, vor allem bei AIWahrscheinlich ist es.
