Ehemaliger Google-Ingenieur und einflussreicher KI-Forscher François Chollet ist Mitbegründer einer gemeinnützigen Organisation, die bei der Entwicklung von Benchmarks hilft, mit denen KI auf „menschliche“ Intelligenz getestet wird.
Die gemeinnützige ARC Prize Foundation wird von Greg Kamradt geleitet, ehemaliger technischer Leiter bei Salesforce und Gründer des KI-Produktstudios Leverage. Kamradt wird als Präsident und Vorstandsmitglied fungieren.
Die Spendensammlung für die ARC Prize Foundation wird Ende Januar beginnen.
„(Wir) entwickeln uns … zu einer gemeinnützigen Stiftung, die als nützlicher Polarstern für künstliche allgemeine Intelligenz dienen kann“, sagte Chollet er schrieb in einem Beitrag auf der Website der gemeinnützigen Organisation. (Künstliche allgemeine Intelligenz ist ein unklarer Begriff, wird aber allgemein als KI verstanden, die die meisten Aufgaben ausführen kann, die Menschen erledigen können.) „(Wir) versuchen, den Fortschritt anzuregen, indem wir (die Lücke) in den grundlegenden menschlichen Fähigkeiten schließen.“
Die ARC Prize Foundation wird erweitert ARC-AGIEin von Chollet entwickelter Test, um zu bewerten, ob ein KI-System außerhalb der Daten, auf denen es trainiert wurde, effizient neue Fähigkeiten erwerben kann. Es handelt sich um rätselartige Aufgaben, bei denen eine KI aus einer Ansammlung verschiedenfarbiger Quadrate das richtige „Antwort“-Raster generieren muss. Probleme sollen eine KI dazu zwingen, sich an neue Probleme anzupassen, die sie noch nie zuvor gesehen hat.
Chollet führte 2019 ARC-AGI ein, kurz für „Abstract and Reasoning Corpus for Artificial General Intelligence“. Viele KI-Systeme können Prüfungen bei der Mathematikolympiade bestehen und mögliche Lösungen für Probleme auf Doktoratsniveau finden. Doch bis zu diesem Jahr konnte die leistungsstärkste KI nur knapp ein Drittel der Aufgaben von ARC-AGI lösen.
„Im Gegensatz zu den meisten hochmodernen KI-Benchmarks versuchen wir nicht, das KI-Risiko mit übermenschlichen Prüfungsfragen zu messen“, schrieb Chollet in dem Beitrag. „Zukünftige Versionen des ARC-AGI-Benchmarks werden sich darauf konzentrieren, die Lücke (menschliche Fähigkeiten) auf Null zu reduzieren.“
Im vergangenen Juni startete Mike Knoop, Mitbegründer von Chollet und Zapier, eine Wettbewerb eine KI aufzubauen, die ARC-AGI übertreffen kann. Eine Premiere für OpenAI o3 Das Modell erreichte als erstes einen qualifizierten Score – allerdings nur mit außergewöhnlich viel Rechenleistung.
Chollet machte deutlich, dass ARC-AGI fehlerhaft ist – viele Modelle konnten mit roher Gewalt hohe Punktzahlen erzielen – und dass er nicht glaubt, dass o3 über Intelligenz auf menschlichem Niveau verfügt.
„Erste Daten deuten darauf hin, dass der nächste Benchmark (Nachfolger von ARC-AGI) immer noch eine erhebliche Herausforderung für o3 darstellen wird und möglicherweise seinen Punktestand selbst bei hoher Rechenleistung auf weniger als 30 % reduzieren wird (während ein intelligenter Mensch immer noch in der Lage wäre, mehr als zu erreichen). 95 % untrainiert)“, sagte Chollet in einer Erklärung im vergangenen Dezember. „Sie werden wissen, dass künstliche allgemeine Intelligenz da ist, wenn die Aufgabe, Aufgaben zu erstellen, die für normale Menschen einfach, für KI jedoch schwierig sind, schlichtweg unmöglich wird.“
Taste es heißt dass geplant sei, „im ersten Quartal“ neben einem neuen Wettbewerb einen ARC-AGI-Benchmark der zweiten Generation auf den Markt zu bringen. Die gemeinnützige Organisation wird sich auch mit der Gestaltung der dritten Ausgabe von ARC-AGI befassen.
Es bleibt abzuwarten, wie die ARC Prize Foundation damit umgeht Kritik Chollet war mit einem Überverkauf von ARC-AGI als Maßstab für das Erreichen von AGI konfrontiert. Die eigentliche Definition von AGI ist derzeit heftig umstritten; seit kurzem Mitglied des OpenAI-Teams behauptet dass AGI „bereits“ erreicht wurde, wenn wir AGI als KI definieren, die „bei den meisten Aufgaben besser als die meisten Menschen“ ist.
Interessanterweise sagte OpenAI-CEO Sam Altman im Dezember, dass das Unternehmen beabsichtige, mit dem ARC-AGI-Team zusammenzuarbeiten, um zukünftige Benchmarks zu entwickeln. Chollet gab in der heutigen Ankündigung keine Updates zu möglichen Partnerschaften bekannt.
In einer Reihe von Beiträge Bei der
TechCrunch hat einen KI-fokussierten Newsletter! Melden Sie sich hier an um es jeden Mittwoch in Ihrem Posteingang zu erhalten.
