Angebliche Expertenbewertungen der Google Gemini-Ergebnisse stammen von Nicht-Experten

Wie jedes genAI-Modell Googeln Zwilling Reaktionen können manchmal sein ungenauIn diesem Fall verfügen die Tester jedoch möglicherweise nicht über das Fachwissen, um sie auf Fakten zu überprüfen.

Laut TechCrunch ermöglicht das Unternehmen, das mit der Verbesserung der Genauigkeit von Gemini beauftragt wurde, seinen Testern nun die Bewertung von Antworten, auch wenn sie nicht über die „Domänenkenntnisse“ verfügen.

Der Bericht wirft Fragen zur Genauigkeit und den Standards auf, die laut Google beim Testen von Gemini auf Genauigkeit gelten. Im Abschnitt „Verantwortungsvolles Bauen“ des Gemini 2.0 BekanntmachungGoogle sagte, dass es „mit vertrauenswürdigen Testern und externen Experten zusammenarbeitet und umfassende Risikobewertungen sowie Sicherheitsbewertungen durchführt“. Der Bewertung von Reaktionen auf sensible und schädliche Inhalte wird große Aufmerksamkeit geschenkt, Antworten, die nicht unbedingt gefährlich, sondern lediglich ungenau sind, wird weniger Aufmerksamkeit geschenkt.

Google scheint das Halluzinations- und Fehlerproblem zu ignorieren, indem es einfach einen Haftungsausschluss hinzufügt: „Zwillinge können Fehler machen, also überprüfen Sie es bitte noch einmal“, womit Google im Wesentlichen von jeglicher Verantwortung entbunden wird. Aber das gilt nicht für die Leute, die hinter den Kulissen arbeiten.

Zuvor hatte GlobalLogic, eine Tochtergesellschaft von Hitachi, seine schnelllebigen Ingenieure und Analysten angewiesen, eine Gemini-Antwort zu überspringen, die sie nicht vollständig verstanden hatten. „Wenn Sie nicht über kritische Kenntnisse (z. B. Programmieren, Mathematik) verfügen, um diese Eingabeaufforderung zu beurteilen, überspringen Sie diese Aufgabe bitte“, heißt es in den Richtlinien, die der Verkaufsstelle vorliegen.

Aber letzte Woche änderte GlobalLogic seine Anweisungen und sagte: „Sie sollten keine Hinweise überspringen, die spezielle Fachkenntnisse erfordern“, und stattdessen „die Teile des Hinweises überprüfen, die Sie verstehen“, wobei zu berücksichtigen ist, dass sie möglicherweise nicht über das erforderliche Fachwissen verfügen das Feld ihrer Analyse. Mit anderen Worten: Fachkenntnisse gelten nicht als Voraussetzung für diese Arbeit.

Auftragnehmer können jetzt nur noch Eingabeaufforderungen überspringen, die laut TechCrunch „völlig fehlende Informationen“ enthalten, oder Eingabeaufforderungen, die sensible Inhalte enthalten, für die eine Einwilligungserklärung erforderlich ist.