Mit dem Open-Source-Tülu 3 von AI2 kann jeder das KI-Post-Training-Spiel spielen

Fragen Sie jeden in der Open-Source-KI-Community und er wird Ihnen sagen, dass der Unterschied zwischen ihnen und großen Privatunternehmen mehr als nur die Rechenleistung ist. AI2 arbeitet daran, dieses Problem zu beheben, zunächst mit vollständig Open-Source-Datenbanken und -Modellen und jetzt mit einem offenen und leicht anpassbaren Post-Training-System, um große „rohe“ Sprachmodelle (LLMs) in verwendbare Modelle umzuwandeln.

Im Gegensatz zu dem, was viele denken, verlassen „grundlegende“ Sprachmodelle den Trainingsprozess nicht, um in die Praxis umgesetzt zu werden. Der Vorschulungsprozess ist natürlich notwendig, reicht aber bei weitem nicht aus. Manche glauben das sogar Das Vortraining dürfte bald nicht mehr der wichtigste Teil sein.

Dies liegt daran, dass sich immer mehr zeigt, dass der Prozess nach der Ausbildung der Ort ist, an dem echter Wert geschaffen werden kann. Hier entsteht das Modell aus einem riesigen, allwissenden Netzwerk, das ebenso bereitwillig Gesprächsthemen über die Leugnung des Holocaust hervorbringt wie Keksrezepte. Das will man normalerweise nicht!

Unternehmen halten ihre Post-Training-Programme geheim, denn während jeder im Internet surfen und mit modernsten Methoden ein Modell erstellen kann, ist es eine ganz andere Herausforderung, dieses Modell beispielsweise für einen Therapeuten oder Forschungsanalytiker nutzbar zu machen.

AI2 (früher bekannt als Allen Institute for AI) sprach über den Mangel an Offenheit in angeblich „offenen“ KI-Projekten wie Meta-Lama. Während das Modell tatsächlich von jedermann kostenlos verwendet und optimiert werden kann, bleiben die Quellen und der Prozess zur Erstellung des Rohmodells sowie die Methode, es für den allgemeinen Gebrauch zu trainieren, streng gehütete Geheimnisse. Nicht schlecht – aber wirklich „offen“ ist es auch nicht.

AI2 hingegen schon verpflichtet, so offen wie möglich zu seinVon der Offenlegung Ihrer Datenerfassung, Kuration, Bereinigung und anderer Pipelines bis hin zu den genauen Trainingsmethoden, die zur Erstellung von LLMs wie OLMo verwendet werden.

Die Wahrheit ist jedoch, dass nur wenige Entwickler über die Fähigkeiten verfügen, zunächst ihre eigenen LLMs auszuführen, und noch weniger können das Post-Training auf die gleiche Weise durchführen wie Meta, OpenAI oder Anthropic – teilweise, weil sie nicht wissen, wie, aber auch weil es technisch komplex und zeitaufwändig ist.

Glücklicherweise möchte AI2 auch diesen Aspekt des KI-Ökosystems demokratisieren. Hier kommt Tülu 3 ins Spiel. Es ist eine enorme Verbesserung gegenüber einem früheren, rudimentäreren Post-Training-Prozess (genannt, Sie haben es erraten, Tülu 2). Dies führte bei den Tests der gemeinnützigen Organisation zu Ergebnissen, die denen der fortschrittlichsten „offenen“ Modelle auf dem Markt entsprachen. Es basiert auf monatelangem Experimentieren, Lesen und Interpretieren der Vorschläge der Großen und viel iterativem Training.

Grundsätzlich deckt Tülu 3 alles ab, von der Auswahl der Themen, die Ihr Modell berücksichtigen soll – zum Beispiel die Minimierung mehrsprachiger Funktionen, aber die Steigerung von Mathematik und Codierung – bis hin zum Durchlaufen eines langen Regimes der Datenkuration, des Lernens durch Verstärkung, Feinabstimmung und Präferenz Optimierung bis hin zur Optimierung mehrerer anderer Metaparameter und Trainingsprozesse, die ich Ihnen nicht ausreichend beschreiben konnte. Das Ergebnis ist hoffentlich ein viel leistungsfähigeres Modell, das sich auf die Fähigkeiten konzentriert, die Sie benötigen.

Das eigentliche Problem besteht jedoch darin, ein weiteres Spielzeug aus der Spielzeugkiste der Privatunternehmen zu holen. Wenn Sie bisher ein LLM mit maßgeschneiderter Ausbildung aufbauen wollten, war es sehr schwierig, auf die eine oder andere Weise die Ressourcen eines großen Unternehmens zu nutzen oder einen Vermittler zu beauftragen, der die Arbeit für Sie erledigte. Dies ist nicht nur teuer, sondern birgt auch Risiken, die einige Unternehmen nur ungern eingehen.

Zum Beispiel Forschungs- und Medizindienstleistungsunternehmen: Natürlich könnten Sie die OpenAI-API verwenden oder mit Scale oder wem auch immer sprechen, um ein internes Modell anzupassen, aber beide beziehen externe Unternehmen in sensible Benutzerdaten ein. Wenn es unvermeidbar ist, müssen Sie einfach in den sauren Apfel beißen – aber wenn nicht? Wenn zum Beispiel eine Forschungsorganisation ein komplettes Programm vor und nach dem Training veröffentlichen würde, das Sie vor Ort umsetzen könnten? Dies könnte durchaus eine bessere Alternative sein.

AI2 nutzt dies selbst, was die beste Bestätigung ist, die man geben kann. Während die heute veröffentlichten Testergebnisse Llama als Basismodell verwenden, planen sie, bald ein auf OLMo basierendes und in Tülu 3 trainiertes Modell zu veröffentlichen, das noch mehr Verbesserungen gegenüber der Basislinie bieten und außerdem vollständig Open Source sein soll, Spitze für Schwanz.

Wenn Sie neugierig sind, wie das Modell derzeit funktioniert, Probieren Sie die Live-Demo aus.