Die KI -Forscher der Weaverd und der Washington University haben es geschafft, ein KI -Argumentationsmodell für weniger als 50 US -Dollar in Cloud -Computing -Credits auszubilden, so eine neue Forschungsarbeit veröffentlicht letzten Freitag.
Das als S1 bekannte Modell führt in Tests, die die Mathematik- und Codierungsfähigkeiten messen, ähnlich wie die staatlichen Argumentationsmodelle wie Open O1 und Deepseek durch. Das S1 -Modell ist Erhältlich bei GitHubzusammen mit den Daten und dem Code, mit dem sie trainiert werden.
Das Team hinter S1 sagte, sie begannen mit einem grundlegenden Modell, das bereit für die Verwendung war, und stellte es dann durch Destillation ein, ein Prozess zum Extrahieren von „Argumentationsfunktionen“ aus einem anderen IA -Modell, das ihre Antworten trainiert. Die Forscher sagten, der S1 sei aus einem der Argumentationsmodelle von Google, dem Gemini 2.0 Flash Thinking Experimental, destilliert. Die Destillation ist der gleiche Ansatz wie Berkeley -Forscher verwendet Erstellen Sie im letzten Monat ein KI -Argumentationsmodell für etwa 450 US -Dollar.
Für manche ist die Idee, dass einige Forscher ohne Millionen von Dollar dahinter noch in der Lage der KI innovativ sind. Der S1 wirft jedoch echte Fragen zur Vermarktung von KI -Modellen auf. Wo ist die Grube, wenn jemand ein Modell von mehreren Millionen Dollar mit relativem Taschenaustausch genau replizieren kann?
Es ist nicht überraschend, dass die großen AI -Labors nicht glücklich sind. OpenAI beschuldigte Deepseek, Daten für die Zwecke von fälschlicherweise von seiner API gesammelt zu haben Destillationsmodell.
Die Forscher hinter dem S1 wollten den einfachsten Ansatz für das Erreichen eines starken Denkens und die „Skalierung in der Testzeit“ finden oder ein KI -Modell mehr darüber nachdenken, bevor sie eine Frage beantwortet. Dies waren einige der Fortschritte in O1 O1, die Deepseek und andere KI -Labors durch verschiedene Techniken replizieren wollten.
Artikel S1 schlägt vor, dass Argumentationsmodelle mit einem relativ kleinen Datensatz unter Verwendung eines Prozesses bezeichnet werden können, der bezeichnet wird, in dem ein KI -Modell explizit angewiesen wird, bestimmte Verhaltensweisen in einem Datensatz zu imitieren. SFT ist tendenziell billiger als die große Verstärkungslernmethode, die Deepseek angewendet hat, um seine Reaktion auf Openai’s Openai, R1, zu schulen.
Google bietet einen kostenlosen Zugang zu Gemini 2.0 Flash Thinking Experimental, obwohl die täglichen Raten von Tarifen über die Google AI Studio -Plattform. Ihre Begriffe verbieten das Reverse Engineering ihrer Modelle, um Dienste zu entwickeln, die mit den KI -Angeboten von Google konkurrieren. Wir kontaktieren Google, um einen Kommentar abzugeben.
Der S1 basiert auf einem kleinen KI -Modell, das bereit ist, KI von Alibaba, Qwen, zu verwenden, das zum kostenlosen Download verfügbar ist. Um S1 zu trainieren, haben die Forscher einen Datensatz von nur 1.000 sorgfältig ausgewählten Fragen erstellt, gepaart mit Antworten auf diese Fragen sowie den „Gedanken“ -Prozess hinter jedem Gemini 2.0 -Flash -Gedankenantwort.
Nach dem S1 -Training, das weniger als 30 Minuten mit 16 GPUS NVIDIA H100 dauerte, hat S1 nach Angaben der Forscher bei bestimmten KI -Benchmarks eine starke Leistung erzielt. Niklas Muennighff, ein Forscher von Stanford, der an dem Projekt arbeitete, sagte TechCrunch, dass er heute das notwendige Computer für etwa 20 US -Dollar mieten könne.
Die Forscher benutzten einen schönen Trick, um S1 zu überprüfen, um ihre Arbeit zu überprüfen und ihre „Gedanken“ -Zeit zu verlängern: Sie sagten, sie sollten warten. Fügen Sie das Wort „Warten“ während der S1 -Argumentation hinzu, dass dem Modell das Modell entsprechend dem Papier etwas genauere Antworten erzielte.
Im Jahr 2025 Ziel, Google und Microsoft Planen Sie, Hunderte von Milliarden Dollar in die AI -Infrastruktur zu investierenDies wird teilweise für die Ausbildung von KI -Modellen der nächsten Generation. Diese Investitionsniveau kann weiterhin notwendig sein, um den KI -Innovationsumschlag zu steigern. Die Destillation hat sich als eine gute Methode gezeigt, um die Ressourcen eines KI -Modells billig neu zu erstellen, erzeugt jedoch keine neuen KI -Modelle, die heute viel besser sind als das, was heute verfügbar ist.
