Es gibt eine neue Familie von KI-Modellen auf dem Markt, und es ist eines der wenigen, das von Grund auf repliziert werden kann.
Am Dienstag veröffentlichte Ai2, die vom verstorbenen Paul Allen gegründete gemeinnützige KI-Forschungsorganisation, OLMo 2, die zweite Modellfamilie seiner OLMo-Serie. (OLMo ist die Abkürzung für „Open Language Model“.) Es gibt zwar keinen Mangel an „offenen“ Sprachmodellen zur Auswahl (siehe: Metas Lama) entspricht OLMo 2 der Definition der Open Source Initiative für Open-Source-KI, was bedeutet, dass die für seine Entwicklung verwendeten Tools und Daten öffentlich verfügbar sind.
Die Open Source Initiative, die langjährige Institution Mit dem Ziel, alle Open-Source-Themen zu definieren und zu „verwalten“, hat das Unternehmen im Oktober seine Definition von Open-Source-KI fertiggestellt. Aber die erste OLMo-ModelleDas im Februar veröffentlichte Dokument erfüllte ebenfalls die Kriterien.
„OLMo 2 (wurde) von Anfang bis Ende mit offenen und zugänglichen Trainingsdaten, Open-Source-Trainingscode, wiederholbaren Trainingsrezepten, transparenten Bewertungen, Zwischenkontrollpunkten und mehr erstellt“, schrieb AI2 in einer Erklärung. Blogbeitrag. „Durch die offene Weitergabe unserer Daten, Rezepte und Entdeckungen hoffen wir, der Open-Source-Community die Ressourcen zur Verfügung zu stellen, die sie benötigt, um neue und innovative Ansätze zu entdecken.“
Es gibt zwei Modelle in der OLMo 2-Familie: eines mit 7 Milliarden Parametern (OLMo 7B) und eines mit 13 Milliarden Parametern (OLMo 13B). Parameter entsprechen in etwa den Problemlösungsfähigkeiten eines Modells, und Modelle mit mehr Parametern schneiden im Allgemeinen besser ab als solche mit weniger Parametern.
Wie die meisten Sprachmodelle können OLMo 2 7B und 13B eine Reihe textbasierter Aufgaben ausführen, beispielsweise das Beantworten von Fragen, das Zusammenfassen von Dokumenten und das Schreiben von Code.
Um die Modelle zu trainieren, verwendete Ai2 einen Datensatz von 5 Billionen Token. Token stellen Bits von Rohdaten dar; 1 Million Token entsprechen etwa 750.000 Wörtern. Das Schulungsset umfasste „hochwertig gefilterte“ Websites, wissenschaftliche Artikel, Frage-und-Antwort-Diskussionsforen und Mathematikbücher „sowohl synthetische als auch von Menschen erstellte“.
Ai2 behauptet, dass das Ergebnis hinsichtlich der Leistung konkurrenzfähige Modelle mit offenen Modellen wie Meta sind Lama 3.1 freigeben.
„Wir haben im Vergleich zu unserem vorherigen OLMo-Modell nicht nur eine dramatische Leistungssteigerung bei allen Aufgaben festgestellt, sondern vor allem übertrifft der OLMo 2 7B den LLama 3.1 8B“, schreibt Ai2. „OLMo 2 (repräsentiert) die bisher besten vollständig offenen Sprachmodelle.“
Die OLMo 2-Modelle und alle ihre Komponenten können von der Ai2-Website heruntergeladen werden Webseite. Sie stehen unter der Apache 2.0-Lizenz und können daher kommerziell genutzt werden.
In letzter Zeit gab es einige Debatten über die Sicherheit offener Modelle, insbesondere der Llama-Modelle angeblich wird von chinesischen Forschern zur Entwicklung von Verteidigungsinstrumenten genutzt. Als ich den Ai2-Ingenieur Dirk Groeneveld im Februar fragte, ob er sich Sorgen über den Missbrauch von OLMo mache, sagte er mir, er glaube, dass die Vorteile letztendlich die Nachteile überwiegen.
„Ja, es ist möglich, dass offene Modelle unangemessen oder für unbeabsichtigte Zwecke verwendet werden“, sagte er. „(Dieser) Ansatz fördert jedoch auch technische Fortschritte, die zu ethischeren Modellen führen; ist eine Voraussetzung für Verifikation und Reproduzierbarkeit, da diese nur mit Zugriff auf den gesamten Stack erreicht werden kann; und verringert eine wachsende Machtkonzentration und schafft so einen gerechteren Zugang.“
