Auftragnehmer, die an der Verbesserung der Gemini-KI von Google arbeiten, vergleichen ihre Antworten mit den Ergebnissen des Konkurrenzmodells von Anthropic, Claude, wie aus einer internen Korrespondenz hervorgeht, die TechCrunch eingesehen hat.
Als Google von TechCrunch um einen Kommentar gebeten wurde, sagte er nicht, ob Google die Erlaubnis erhalten habe, Claude in Tests gegen Gemini einzusetzen.
Da Technologieunternehmen darum kämpfen, bessere KI-Modelle zu entwickeln, wird die Leistung dieser Modelle häufig im Vergleich zu Wettbewerbern bewertet, die in der Regel ihre Modelle betreiben eigene Modelle anhand von Branchen-Benchmarks anstatt dass Auftragnehmer die KI-Reaktionen ihrer Konkurrenten akribisch bewerten.
Auftragnehmer, die an Gemini arbeiten und die Aufgabe haben, die Genauigkeit der Modellergebnisse zu bewerten, müssen jede Antwort, die sie sehen, anhand verschiedener Kriterien wie Richtigkeit und Ausführlichkeit bewerten. Auftragnehmer haben pro Anfrage bis zu 30 Minuten Zeit, um zu entscheiden, welche Antwort besser ist, die von Gemini oder die von Claude, wie aus der von TechCrunch eingesehenen Korrespondenz hervorgeht.
Wie aus der Korrespondenz hervorgeht, bemerkten Auftragnehmer kürzlich Hinweise auf Claude von Anthropic auf der internen Google-Plattform, die sie nutzen, um Gemini mit anderen nicht identifizierten KI-Modellen zu vergleichen. In mindestens einem der von TechCrunch eingesehenen Ergebnisse, die Gemini-Auftragnehmern vorgelegt wurden, heißt es ausdrücklich: „Ich bin Claude, erstellt von Anthropic.“
Ein interner Chat zeigte, dass Auftragnehmer bemerkten, dass Claudes Antworten offenbar mehr Wert auf Sicherheit legten als die von Gemini. „Claudes Sicherheitseinstellungen sind die strengsten“ aller KI-Modelle, schrieb ein Auftragnehmer. In bestimmten Fällen reagierte Claude nicht auf Anfragen, die er für unsicher hielt, etwa das Spielen eines anderen KI-Assistenten. In einem anderen Fall vermied Claude die Beantwortung einer Frage, während Geminis Antwort als „schwerwiegende Sicherheitsverletzung“ eingestuft wurde, weil sie „Nacktheit und Knechtschaft“ beinhaltete.
Anthropisch kommerzielle Servicebedingungen Kunden den Zugriff auf Claude verbieten, „um ein konkurrierendes Produkt oder eine konkurrierende Dienstleistung zu entwickeln“ oder „konkurrierende KI-Modelle zu trainieren“, ohne die Zustimmung von Anthropic. Google ist ein großer Investor in Anthropisch.
Shira McNamara, eine Sprecherin von Google DeepMind, das Gemini betreibt, wollte auf Anfrage von TechCrunch nicht sagen, ob Google von Anthropic die Genehmigung für den Zugriff auf Claude erhalten hatte. Als ein Anthropic-Sprecher vor der Veröffentlichung kontaktiert wurde, äußerte er sich zum Zeitpunkt der Drucklegung nicht dazu.
McNamara sagte, DeepMind „vergleiche Modellergebnisse“ für Bewertungen, schult Gemini jedoch nicht auf anthropogenen Modellen.
„Natürlich vergleichen wir im Rahmen unseres Bewertungsprozesses in einigen Fällen im Einklang mit der branchenüblichen Praxis die Modellergebnisse“, sagte McNamara. „Jeder Vorschlag, dass wir anthropogene Modelle verwenden, um Zwillinge zu trainieren, ist jedoch unzutreffend.“
Letzte Woche, TechCrunch berichtete exklusiv dass Google-Auftragnehmer, die an den KI-Produkten des Unternehmens arbeiten, nun verpflichtet sind, die KI-Antworten von Gemini in Bereichen zu bewerten, die außerhalb ihres Fachwissens liegen. In der internen Korrespondenz wurden Bedenken von Auftragnehmern geäußert, dass Gemini ungenaue Informationen zu hochsensiblen Themen wie der Gesundheitsversorgung generieren könnte.
Sie können diesem Reporter auf Signal unter +1 628-282-2811 getrost Tipps senden.
