Google Search AI-Bewertungen nach 6 Monaten: Wird die Funktion besser?

Es ist sechs Monate her Googeln begann mit dem Hinzufügen KI-generierter Text steht bei vielen Google-Suchanfragen standardmäßig ganz oben, und das hier experimentieren – Das steht in einem Haftungsausschluss am Ende jeder KI-Übersicht: „Es war kein voller Erfolg“, räumte Google gegenüber Mashable ein.

Während „KI-Übersichten im Großen und Ganzen sehr überzeugende Dinge sind, die für die Nutzer nützlich sind“, sagt Hema Budaraju, Senior Director für Produktmanagement bei Google Search, „haben wir auf der Qualitätsseite noch viel zu tun.“ , was ein zunehmender Bedarf ist.“

AI Overviews starteten mit einer Art Slogan: „Lassen Sie Google die Suche für Sie erledigen,“ Aber nach einigen Kontroversen zu Beginn – insbesondere in den paar Wochen, in denen immer wieder Geschichten ans Licht kamen Die Google-Suche sagt den Leuten, sie sollen Steine ​​essen und Kleber auf Pizza auftragen — Das Unternehmen scheint sich etwas zurückgezogen zu haben. Zum Start erschienen KI-Übersichten auf etwa 15 Prozent der Google-Suchergebnisseiten, doch bis Ende Juni sank diese Zahl auf etwa 7 Prozent. laut Search Engine Land.

Hat sich die Qualität in den letzten sechs Monaten verbessert?

Werden KI-Übersichten besser?

Es wäre schwer, pauschal zu sagen, dass es eine signifikante Qualitätsverbesserung gegeben hat. Übersichten sind seltener und es gibt immer noch viele Fehler, aber ich habe nur sehr begrenzte Hinweise auf Verbesserungen gefunden: Die KI-Übersichten für die Abfragen, die ich für diesen Artikel bei Google hervorgehoben habe, haben sich alle verbessert, während ich daran gearbeitet habe.

Für das, was es wert ist, sagt Budaraju, dass KI-Übersichten für alle Arten von Fragen, von banal bis seltsam, funktionieren, „besonders wenn es keine eine Antwort und mehrere Perspektiven gibt.“ Zumindest denkt Google das auf der Grundlage interner Qualitätsdaten, die aus AB-Tests, aber nicht aus Fokusgruppen stammen, sagte Budaraju.

Alltägliche Suchen liefern meiner Erfahrung nach im Allgemeinen akzeptable KI-Zusammenfassungen. Zum Beispiel kann „Wie schmecken Mandeln“ einen sinnvollen KI-Überblick liefern, wie ich ihn erhalten habe: „Mandeln können je nach chemischer Zusammensetzung süß, leicht bitter oder bitter schmecken.“ Bußgeld.

Aber wenn Sie ein Informationsfreak sind, der die Google-Suche intensiver nutzt, ist die Wahrscheinlichkeit groß, dass Sie immer noch auf bizarre Fehler stoßen. Dieses November-Beispiel des BlueSky-Benutzers @coopercooperco ist eine gute Zusammenfassung der bedauerlichen anhaltenden Tendenz von Google Gemini, von Zeit zu Zeit die Wahrheit in einen Mixer zu stecken.

Auf die Frage nach dem Zwillingsgipfel In der Episode, in der Cole Shelly küsst, platzt die KI-Übersicht ganz selbstbewusst heraus und platzt fälschlicherweise heraus, dass es keine solche Szene gibt. Ohne mit Sicherheit zu wissen, was schief gelaufen ist, kann man nur davon ausgehen, dass die Trainingsdaten des Modells zumindest flüchtige Erwähnungen – wenn nicht sogar das gesamte Skript – des enthalten bekannt Zwillingsgipfel Szene über (David Lynchs schreiende Stimme) „zwei Erwachsene, die einen zärtlichen Moment teilen!“ in dem Cole und Shelly werden scheinbar von Bobby Briggs unterbrochen, küssen sich dann aber klar und deutlich. Das Modell basiert wahrscheinlich nicht auf fehlerhaften Blogs oder gefälschten Skripten, die besagen, dass Cole Shelly nie küsst (zu welchem ​​Zweck sollte jemand so etwas schreiben?). Es handelt sich lediglich um eine Erfindung und die Platzierung ganz oben auf der Google-Suchergebnisseite.

Der Bluesky-Benutzer oben macht deutlich, was Google ruft oft an eine „ungewöhnliche Frage“. Halluzinationen seien „häufig“, wenn die Nachfrage ungewöhnlich sei, sagte Budaraju. „Obwohl die Systeme versuchen, hilfreich zu sein, gibt es einige Fehlinterpretationen und einen inhärenten Mangel an qualitativ hochwertigen Informationen im Internet“, erklärte sie und sprach mit Mashable über KI-Übersichten im Allgemeinen und nicht über diese spezielle. Viele prominente, Hochwertige Online-Informationen bestätigen dies dass Cole und Shelly sich küssen, daher ist eine „Fehlinterpretation“ der verpatzten Unterbrechung von Bobby Briggs als Erklärung sinnvoller.

Wenn Sie auf der Grundlage falscher Informationen suchen, können KI-Übersichten die Situation erheblich verschlimmern

Laut Budaraju umfasst die Verbesserung von KI-Zusammenfassungen „Stimmungsbefragungen“, bei denen es sich nicht gerade um AB-Tests handelt. „Wir geben den Menschen lediglich die Möglichkeit, zwischen dem einen oder anderen zu wählen und ihre Zufriedenheit zum Ausdruck zu bringen“, sagte sie.

Ein Albtraumszenario für KI-Übersichten ist jedoch, dass ein Suchender mit nicht perfekten Informationen beginnt und die KI-Übersicht sie noch weniger perfekt macht.

Wenn die Grundlage für eine Suche falsch oder fehlerhaft ist und die KI-Übersicht das Problem nicht erkennt, liegt es nahe, dass der Benutzer es auch nicht bemerken wird. Das Ergebnis wäre ein zufriedener Benutzer, der jetzt noch unwissender ist als zuvor. Zugegeben, das Problem der Verwendung der Google-Suche zum Auffinden von Fehlinformationen ist viel älter als KI-Übersichten, aber KI-Übersichten könnten eine Formel sein, um diesen Prozess anzukurbeln.

Als anschauliches, aber ziemlich gutes Beispiel dafür, was ich meine, ist hier das Ergebnis der Frage „Wie verwendet man Backpulver, um Suppe anzudicken?“ Jemand hat vielleicht die vage Vorstellung, dass eines der Pulver im Schrank seiner Suppe ein festeres Mundgefühl verleihen kann, aber er rät vielleicht falsch. Laut AI-Übersicht „kann Backpulver verwendet werden, um Suppen zu verdicken, indem es sie seidiger und glatter macht.“

Das funktioniert nicht und kann dazu führen, dass Ihre Suppe seltsam schmeckt.

Als ich dieses Beispiel einem Google-Vertreter zeigte, teilte er mir mit, dass Google es zur Verbesserung seines Produkts verwenden würde.

Aber die Unterscheidung zwischen guten und schlechten Informationen wird noch verwirrender, wenn man nach dem Paranormalen sucht. Ich habe beispielsweise versucht, nach „Wie man einem Hund die telepathische Kommunikation beibringt“ zu suchen, und die KI-Übersicht begann mit der Überschrift „Hier sind einige Tipps für die telepathische Kommunikation mit Ihrem Hund“ und gab dann eine Liste mit Aufzählungszeichen, die daraus zusammengestellt wurde Schriften von Anhängern des Paranormalen, wie zum Beispiel der „Tierkommunikatorin“ Pea Horsley.

Bildnachweis: Mashable-Screenshot über Google

Wenn Sie Lust haben, sie zu lesen, ist es die Aufgabe der Google-Suche, Sie dorthin zu führen die Schriften von Leuten wie Horsley – Tatsächlich empfehle ich sie. Sie sind unterhaltsam. Aber wenn die KI-Zusammenfassung oben auf einer Google-Ergebnisseite lautet: „Hier sind einige Tipps für die telepathische Kommunikation mit Ihrem Hund“, vermittelt das den Nutzern den Eindruck, dass diese Informationen maßgeblich und zuverlässig sind, und nicht „Hier sind einige Tipps für die telepathische Kommunikation mit Ihrem Hund“.Nur zu Unterhaltungszwecken.“

Ein Google-Vertreter wies darauf hin, dass KI-Übersichten dynamisch seien. Sie zeigten mir ihre KI-Übersicht für die gleiche Suche, und dort hieß es nicht: „Hier sind einige Tipps für die telepathische Kommunikation mit Ihrem Hund“, sondern es hieß, dass es keine wissenschaftlichen Beweise dafür gibt, dass Hunde telepathisch kommunizieren können, bevor sie wechseln noch ein Pea Horsley. -betroffene Liste der Anweisungen. Wenn ich diese Suche heute versuche, erhalte ich ein ähnlich verbessertes Ergebnis.

Was wäre schließlich, wenn ein Benutzer bemerken würde, dass Kuhfleisch „Rindfleisch“ und Schweinefleisch „Schweinefleisch“ genannt wird, und sich fragt, wie Delfinfleisch heißt? Es sind seltsamere Dinge passiert. Als ich die Google-Suche nutzte, um Antworten zu finden, enthüllte die KI-Übersicht scheinbar die dunkle Wahrheit über Mahi-Mahi:

Bildnachweis: Mashable-Screenshot über Google

Die KI-Übersicht beginnt mit „Der Name für Delfinfleisch hängt von der Region und der Art des Delfins ab“ und enthält dann eine Liste mit Aufzählungszeichen. Der erste Punkt auf der Liste ist „Mahi-mahi“.

Wenn der Benutzer weiterliest, wird er feststellen, dass Mahi-Mahi auch als „Delfinfisch“ bekannt ist (denn um es klarzustellen: Mahi-Mahi ist kein Delphin, sondern ein Fisch). Aber das Ergebnis ist gelinde gesagt verwirrend. Als ich es einem Google-Mitarbeiter zeigte, sagten sie mir, dass dies eine vernünftige Interpretation der Suchanfrage sei – mit anderen Worten, ein Nutzer, der nach „Name des Delfinfleischs“ sucht, könnte tatsächlich nach dem Fisch suchen, der als „Delphinfisch“ bekannt ist.

Es empfiehlt sich, auf die Quelle zu klicken

Da, wie ich oben sagte, alle Suchanfragen, die zu einer problematischen KI-Übersicht führten, die ich hier vorgestellt habe, in gewissem Maße verbessert wurden, vermutete ich, dass Google sie nebenbei bereinigt, aber Budaraju behauptet etwas anderes. „Wir lösen Fragen nicht einzeln. So sehen wir das eigentlich nicht Welche Problemmuster sehen wir und wie könnten wir sie tatsächlich im großen Maßstab lösen?“

Aber sie erzählte mir auch, dass Google sich weiterhin darauf konzentriert, Nutzer zu den Quellen für KI-Übersichten weiterzuleiten – Sie wissen schon, die altmodischen Links auf Ihrer Google-Suchergebnisseite? „In gewisser Weise“, sagte sie, „hoffen wir auch, dass unsere Nutzer die richtigen Links haben, Links, denen sie auch folgen können.“ Sie fragt sich, ob der Nutzer als Reaktion auf eine KI-Übersicht „tatsächlich diesem Weg folgen und sich die Links ansehen würde, die zu der von Ihnen erstellten Übersicht geführt haben“.

Wenn KI-Übersichten nie verschwinden, ist es wahrscheinlich eine gute Idee, Budaraju diesen Vorschlag zu folgen, bis sie nie wieder halluzinieren, und sich daran zu gewöhnen, auf die Links neben Ihren KI-Übersichten zu klicken, wann immer Sie sie sehen.