Generative KI mag magisch erscheinen, aber hinter der Entwicklung dieser Systeme stehen Heerscharen von Mitarbeitern von Unternehmen wie Google, OpenAI und anderen, sogenannten „Hot Engineers“ und Analysten, die die Genauigkeit der Ergebnisse von Chatbots bewerten, um ihre KI zu verbessern.
Aber eine neue interne Richtlinie, die Google an die bei Gemini arbeitenden Auftragnehmer herausgegeben hat und die TechCrunch eingesehen hat, hat Bedenken geweckt, dass Gemini mit größerer Wahrscheinlichkeit ungenaue Informationen über hochsensible Themen wie Gesundheit an normale Menschen weitergeben könnte.
Um Gemini zu verbessern, arbeiten Auftragnehmer mit GlobalLogic, einem Outsourcing-Unternehmen, zusammen im Besitz von Hitachiwerden routinemäßig gebeten, KI-generierte Antworten nach Faktoren wie „Wahrhaftigkeit“ zu bewerten.
Bis vor kurzem konnten diese Dienstanbieter bestimmte Eingabeaufforderungen „ignorieren“ und sich daher dafür entscheiden, verschiedene von der KI verfasste Antworten auf diese Eingabeaufforderungen nicht auszuwerten, wenn die Eingabeaufforderung zu weit außerhalb ihres Fachwissens lag. Beispielsweise könnte ein Auftragnehmer eine Anfrage ignorieren, in der eine Nischenfrage zur Kardiologie gestellt wurde, weil der Auftragnehmer keinen wissenschaftlichen Hintergrund hatte.
Aber letzte Woche kündigte GlobalLogic eine Änderung von Google an, wonach Auftragnehmer diese Anfragen unabhängig von ihrer eigenen Erfahrung nicht länger ignorieren können.
Interne Korrespondenz, die TechCrunch eingesehen hat, zeigt, dass es in den Richtlinien zuvor hieß: „Wenn Sie nicht über die entscheidenden Kenntnisse (z. B. Codierung, Mathematik) verfügen, um diese Anfrage zu bewerten, überspringen Sie diese Aufgabe bitte.“
Aber jetzt heißt es in den Richtlinien: „Sie sollten Anfragen, die spezielle Domänenkenntnisse erfordern, nicht überspringen.“ Stattdessen werden die Mitarbeiter angewiesen, „die Teile der Eingabeaufforderung zu bewerten, die Sie verstehen“ und einen Hinweis hinzuzufügen, dass sie nicht über Domänenkenntnisse verfügen.
Dies hat zu direkten Bedenken hinsichtlich der Genauigkeit von Gemini bei bestimmten Themen geführt, da Auftragnehmer manchmal mit der Bewertung hochtechnischer KI-Reaktionen zu Themen wie seltenen Krankheiten beauftragt werden, bei denen sie keine Fachkenntnisse haben.
„Ich dachte, der Sinn des Springens bestehe darin, die Genauigkeit zu erhöhen, indem man sie jemand Besserem überlässt?“ ein Auftragnehmer, der in der internen Korrespondenz von TechCrunch erwähnt wurde.
Auftragnehmer können Anfragen jetzt nur noch in zwei Fällen überspringen: wenn ihnen „Informationen völlig fehlen“, etwa die vollständige Anfrage oder Antwort, oder wenn sie schädliche Inhalte enthalten, für deren Überprüfung spezielle Einwilligungsformulare erforderlich sind, zeigen die neuen Richtlinien.
Google hat zum Zeitpunkt der Drucklegung noch nicht auf die Anfragen von TechCrunch nach einem Kommentar geantwortet.
