Am Donnerstag, OpenAI freigegeben Das ist praktisch ein Chatbot für 200 Dollar im Monat – und die KI-Community wusste nicht genau, was sie davon halten sollte.
Der neue ChatGPT Pro-Plan des Unternehmens gewährt Zugriff auf den „o1 Pro-Modus“, der laut OpenAI „mehr Rechenleistung verbraucht, um die besten Antworten auf die schwierigsten Fragen zu erhalten“. Eine verbesserte Version von OpenAI o1 Laut OpenAI soll der o1-Pro-Modus mithilfe des Argumentationsmodells Fragen im Zusammenhang mit Naturwissenschaften, Mathematik und Codierung „zuverlässiger“ und „umfassender“ beantworten.
Fast sofort fragten die Leute nach dem Zeichnen von Einhörnern:
Ich habe ChatGPT o1 Pro Mode gebeten, eine SVG-Datei eines Einhorns zu erstellen.
(Dies ist das Modell, auf das Sie für 200 $ pro Monat Zugriff erhalten) pic.twitter.com/h9HwY3aYwU
– Rammy (@rammydev) 5. Dezember 2024
Und entwerfen Sie einen „Krabben-basierten“ Computer:
Endlich wird o1-pro in seinen ultimativen Anwendungsfall gebracht. pic.twitter.com/nX4JAjx71m
-Ethan Mollick (@emollick) 6. Dezember 2024
Und wird poetisch über den Sinn des Lebens:
Ich habe mich gerade für das OpenAI-Abonnement für 200 $/Monat angemeldet.
Antworten Sie mit Fragen und ich werde sie erneut in diesem Thread posten. pic.twitter.com/oTQxbPxnoP-Garrett Scott 🕳 (@thegarrettscott) 5. Dezember 2024
Aber viele Leute auf
„Hat OpenAI konkrete Beispiele für Eingabeaufforderungen geteilt, die in normalem o1 fehlschlagen, in o1-pro jedoch erfolgreich sind?“ fragte Der britische Informatiker Simon Willison. „Ich möchte ein einziges konkretes Beispiel sehen, das seinen Vorteil zeigt.“
Das ist eine berechtigte Frage; Immerhin ist dies das teuerste Chatbot-Abonnement der Welt. Der Dienst bringt weitere Vorteile mit sich, etwa die Aufhebung von Gebührenbeschränkungen und den uneingeschränkten Zugriff auf andere OpenAI-Modelle. Aber 2.400 US-Dollar pro Jahr sind keine dumme Änderung, und insbesondere das Wertversprechen des O1 Pro-Modus bleibt unklar.
Es dauerte nicht lange, Fehlerfälle zu finden. Der O1-Profi-Modus hat mit Sudoku zu kämpfen und wird von einem optischen Täuschungswitz unterbrochen, der für jeden Menschen offensichtlich ist.
o1 und o1-pro sind hier gescheitert, wahrscheinlich immer noch aufgrund von Seheinschränkungen (das Gleiche gilt für Sudoku-Rätsel).https://t.co/mAVK7WxBrq pic.twitter.com/O9boSv7ZGt
-Tibor Blaho (@btibor91) 5. Dezember 2024
Die internen Benchmarks von OpenAI zeigen, dass der o1-Pro-Modus bei Codierungs- und Mathematikproblemen nur geringfügig besser abschneidet als der Standard-o1:
OpenAI führte eine „strengere“ Bewertung derselben Benchmarks durch, um die Konsistenz des o1-Pro-Modus zu zeigen: Das Modell galt nur dann als gelöst, wenn es vier von vier Malen die richtige Antwort gab. Aber selbst in diesen Tests waren die Verbesserungen nicht dramatisch:
OpenAI-CEO Sam Altman, der einmal schrieb, dass OpenAI in einer Weg „in Richtung Intelligenz, die zu billig ist, um gemessen zu werden“, wurde dazu gezwungen zu klären mehrere mal am Donnerstag, dass ChatGPT Pro nichts für die meisten Menschen ist.
„Die meisten Benutzer werden mit o1 auf dem (ChatGPT) Plus-Niveau sehr zufrieden sein!“ sagte er zu X. „Fast jeder wird mit unserer kostenlosen oder Plus-Stufe besser bedient sein.“
Für wen ist das also? Gibt es wirklich Leute, die bereit sind, 200 Dollar im Monat zu zahlen, um Fragen zu Spielzeugen zu stellen wie „Schreiben Sie einen Aufsatz mit drei Absätzen über Erdbeeren, ohne den Buchstaben „e“ zu verwenden.“ oder „Lösen Sie dieses Problem der Mathematikolympiade„? Werden sie sich gerne von ihrem hart verdienten Geld trennen, ohne die Gewissheit zu haben, dass der o1-Standard dieselben Fragen nicht zufriedenstellend beantworten kann?
Ich fragte Ameet Talwalkar, außerordentlicher Professor für maschinelles Lernen bei Carnegie Mellon und Venture-Partner bei Amplify Partners, seiner Meinung nach. „Es scheint mir ein großes Risiko zu sein, den Preis zu verzehnfachen“, sagte er TechCrunch in einer E-Mail. „Ich denke, in nur wenigen Wochen werden wir ein viel besseres Gespür für den Appetit auf diese Funktionalität haben.“
Der UCLA-Informatiker Guy Van den Broeck war in seiner Einschätzung offener. „Ich weiß nicht, ob der Preis sinnvoll ist“, sagte er gegenüber TechCrunch, „und ob teure Argumentationsmodelle die Norm sein werden.“
o1 ist „bei den meisten Aufgaben besser als die meisten Menschen“, denn ja, Menschen existieren ausschließlich in körperlosen, amnesischen Multiloop-Chat-Schnittstellen https://t.co/zbLY2BG5pQ
-Aidan McLau (@aidan_mclau) 6. Dezember 2024
Eine großzügige Meinung ist, dass dies ein Marketingfehler ist. Den o1 Pro-Modus als den besten zur Lösung „der schwierigsten Probleme“ zu bezeichnen, sagt potenziellen Kunden nicht viel. Weder vage Aussagen darüber, wie das Modell „mehr denken“ und „Intelligenz“ demonstrieren kann. Wie Willison betont, ist es ohne konkrete Beispiele dieser angeblich verbesserten Leistungsfähigkeit schwer zu rechtfertigen, mehr zu zahlen, geschweige denn den zehnfachen Preis zu zahlen.
Soweit ich weiß, handelt es sich bei der Zielgruppe um Experten auf Spezialgebieten. OpenAI plant, einer Handvoll medizinischer Forscher von „führenden Institutionen“ kostenlosen Zugang zu ChatGPT Pro zu gewähren, das den o1 Pro-Modus umfassen wird. Fehler sind im Gesundheitswesen sehr wichtig, und wie Bob McGrew, ehemaliger Forschungsdirektor bei OpenAI, sagte: beobachtet Auf X ist die bessere Zuverlässigkeit möglicherweise der wichtigste Vorteil des o1 Pro-Modus.
Ich spiele schon seit einiger Zeit mit o1 und o1-pro.
Sie sind sehr gut und ein wenig seltsam. Sie sind auch die meiste Zeit nicht für die meisten Menschen geeignet. Sie müssen wirklich bestimmte schwierige Probleme lösen, um einen Nutzen daraus zu ziehen. Aber wenn man diese Probleme hat, ist das ein großes Problem.
-Ethan Mollick (@emollick) 5. Dezember 2024
McGrew auch meditiert Der o1-Pro-Modus ist ein Beispiel für das, was er als „überschüssige Intelligenz“ bezeichnet: Benutzer (und möglicherweise die Ersteller des Modells), die aufgrund der grundlegenden Grenzen eines einfachen Textes nicht wissen, wie sie aus „zusätzlicher Intelligenz“ einen Nutzen ziehen können -basierte Schnittstelle. Wie bei den anderen Modellen von OpenAI besteht die einzige Möglichkeit, mit dem o1-Pro-Modus zu interagieren, über ChatGPT, und – nach McGrews Meinung – ist ChatGPT nicht perfekt.
Es stimmt jedoch auch, dass 200 US-Dollar die Erwartungen wecken. Und der ersten Resonanz in den sozialen Medien nach zu urteilen, ist ChatGPT Pro kein Kinderspiel.
