Führungskräfte und Forscher, die die KI-Bemühungen von Meta leiten, sind besessen davon, bei der Entwicklung von Llama 3 das GPT-4-Modell von OpenAI zu übertreffen Interne Nachrichten, die ein Gericht am Dienstag enthüllte in einem der laufenden KI-Urheberrechtsfälle des Unternehmens, Kadrey v. Ziel.
„Ehrlich gesagt … unser Ziel muss GPT-4 sein“, sagte Ahmad Al-Dahle, Meta-Vizepräsident für generative KI, in einer Nachricht vom Oktober 2023 an den Meta-Forscher Hugo Touvron. „Wir haben 64.000 GPUs im Angebot! Wir müssen lernen, Grenzen zu setzen und dieses Rennen zu gewinnen.“
Während Meta offene KI-Modelle veröffentlicht, konzentrierten sich die KI-Führungskräfte des Unternehmens viel mehr darauf, Konkurrenten zu schlagen, die die Gewichte ihrer Modelle normalerweise nicht freigeben, wie Anthropic und OpenAI, und sie stattdessen hinter eine API zu stellen. Führungskräfte und Forscher von Meta betrachteten Claude von Anthropic und GPT-4 von OpenAI als Goldstandard, auf den man hinarbeiten sollte.
Das französische KI-Startup Mistral, einer der größten öffentlichen Konkurrenten von Meta, wurde in internen Nachrichten mehrfach erwähnt, der Ton war jedoch abweisend.
„Mistral ist für uns ein Kinderspiel“, sagte Al-Dahle in einer Nachricht. „Wir sollten es besser machen können“, sagte er später.
Heutzutage wetteifern Technologieunternehmen darum, sich mit modernsten KI-Modellen zu übertreffen, aber diese Klagen zeigen, wie wettbewerbsfähig die KI-Führungskräfte von Meta wirklich waren – und das offenbar auch sind immer noch. An verschiedenen Stellen des Nachrichtenaustauschs sprachen die KI-Leiter von Meta darüber, wie „sehr aggressiv“ sie dabei vorgingen, die richtigen Daten für das Training von Llama zu erhalten; Irgendwann sagte eine Führungskraft in einer Nachricht an Kollegen sogar: „Lama 3 ist buchstäblich alles, was mich interessiert.“
Die Staatsanwälte behaupten in diesem Fall, dass Meta-Führungskräfte in ihrem verrückten Versuch, KI-Modelle zu liefern, gelegentlich Abstriche machten und dabei an urheberrechtlich geschützten Büchern trainierten.
Touvron stellte in einer Nachricht fest, dass der für Llama 2 verwendete Datensatzmix „schlecht“ sei und sprach darüber, wie Meta einen besseren Datenquellenmix nutzen könnte, um Llama 3 zu verbessern. Anschließend sprachen Touvron und Al-Dahle darüber, den Weg dafür zu ebnen Verwenden Sie den LibGen-Datensatz, der urheberrechtlich geschützte Werke enthält von Cengage Learning, Macmillan Learning, McGraw Hill und Pearson Education.
„Wir haben dort (?) die richtigen Datensätze“, sagte Al-Dahle. „Gibt es etwas, das Sie verwenden wollten, aber aus irgendeinem dummen Grund nicht konnten?“
Mark Zuckerberg, CEO von Meta, sagte zuvor, dass er versuche, die Leistungslücke zwischen den KI-Modellen von Llama und geschlossenen Modellen von OpenAI, Google und anderen zu schließen. Interne Nachrichten verdeutlichen den enormen Druck innerhalb des Unternehmens, dies zu erreichen.
„In diesem Jahr ist Llama 3 mit den fortschrittlichsten Modellen konkurrenzfähig und in einigen Bereichen führend“, sagte Zuckerberg in einer Erklärung. Brief ab Juli 2024. „Ab dem nächsten Jahr gehen wir davon aus, dass die künftigen Llama-Modelle die fortschrittlichsten der Branche sein werden.“
Als Meta endlich veröffentlichte Llama 3 im April 2024Das offene KI-Modell war mit den führenden geschlossenen Modellen von Google, OpenAI und Anthropic, konkurrenzfähig und übertraf die offenen Optionen von Mistral. Die Daten, die Meta zum Trainieren seiner Modelle verwendet hat – Daten, für deren Nutzung Zuckerberg Berichten zufolge trotz seines Urheberrechtsstatus grünes Licht gegeben hat – werden jedoch in mehreren laufenden Gerichtsverfahren einer genauen Prüfung unterzogen.
