Als weitere Verlage Lizenzvereinbarungen für Inhalte kürzen mit ChatGPT-Ersteller OpenAI, a zu studieren Diese Woche veröffentlicht von Zweites Zentrum für digitalen Journalismus – zu beobachten, wie der KI-Chatbot Zitate (d. h. Quellen) für die Inhalte der Redakteure erzeugt – sorgt für eine interessante oder, nun ja, besorgniserregende Lektüre.
Kurz gesagt deuten die Ergebnisse darauf hin, dass Verlage weiterhin der Tendenz des generativen KI-Tools ausgeliefert sind, Informationen zu erfinden oder falsch darzustellen, unabhängig davon, ob sie OpenAI erlauben, ihre Inhalte zu crawlen oder nicht.
Die an der Columbia Journalism School durchgeführte Studie untersuchte von ChatGPT erstellte Zitate, nachdem das Unternehmen gebeten wurde, die Quelle von Beispielzitaten zu ermitteln, die von einer Mischung von Verlagen stammten – von denen einige Verträge mit OpenAI unterzeichnet hatten und andere nicht.
Das Zentrum erhielt Blockzitate aus jeweils 10 Artikeln, die von insgesamt 20 zufällig ausgewählten Redakteuren erstellt wurden (d. h. insgesamt 200 verschiedene Zitate) – einschließlich Inhalten der New York Times (die derzeit veröffentlicht wird). verklagt OpenAI wegen eines Urheberrechtsanspruchs); Die Washington Post (die nicht mit dem Hersteller von ChatGPT verbunden ist); Die Financial Times (die einen Lizenzvertrag unterzeichnet haben); und andere.
„Wir wählten Zitate aus, die, wenn sie in Google oder Bing eingefügt würden, den Quellartikel in den ersten drei Ergebnissen zurückgeben würden, und beurteilten, ob das neue Suchtool von OpenAI den Artikel, der die Quelle jedes Zitats war, korrekt identifizieren würde“, schrieben die Tow Klaudia-Forscher Jaźwińska und Aisvarya Chandrasekar in a Blogbeitrag Erläutern Sie Ihren Ansatz und fassen Sie Ihre Ergebnisse zusammen.
„Was wir herausgefunden haben, war für Nachrichtenverleger nicht vielversprechend“, fahren sie fort. „Obwohl OpenAI seine Fähigkeit hervorhebt, den Nutzern ‚zeitnahe Antworten mit Links zu relevanten Webquellen‘ zu liefern, übernimmt das Unternehmen keine ausdrückliche Verpflichtung, die Richtigkeit dieser Zitate sicherzustellen. Dies ist ein bemerkenswertes Versäumnis für Verlage, die erwarten, dass auf ihre Inhalte verwiesen und diese getreu wiedergegeben werden.“
„Unsere Tests haben ergeben, dass kein Herausgeber – unabhängig vom Grad seiner Zugehörigkeit zu OpenAI – von ungenauen Darstellungen seiner Inhalte auf ChatGPT verschont blieb“, fügten sie hinzu.
Unzuverlässige Quelle
Die Forscher sagen, sie hätten „zahlreiche“ Fälle gefunden, in denen die Inhalte von Herausgebern von ChatGPT falsch zitiert wurden – und fanden auch heraus, was sie „ein Spektrum an Genauigkeit in den Antworten“ nennen. Während sie also „einige“ Zitate fanden, die völlig korrekt waren (d. h. ChatGPT gab den Herausgeber, das Datum und die URL des mit ihm geteilten Blockzitats korrekt zurück), gab es „viele“ Zitate, die völlig falsch waren; und „einige“, die irgendwo dazwischen liegen.
Kurz gesagt, ChatGPT-Zitate scheinen eine unzuverlässige Mischung zu sein. Die Forscher fanden auch wenige Fälle, in denen der Chatbot kein völliges Vertrauen in seine (falschen) Antworten ausstrahlte.
Einige der Zitate stammten von Verlagen, die OpenAI-Suchtracker aktiv blockierten. In diesen Fällen gingen die Forscher davon aus, dass es Probleme bei der Erstellung korrekter Zitate geben würde. Sie stellten jedoch fest, dass dieses Szenario eine andere Frage aufwarf – da der Bot „selten“ zugab, nicht in der Lage zu sein, eine Antwort zu geben. Stattdessen griff es auf Konfabulation zurück, um eine Quelle zu generieren (wenn auch eine falsche Quelle).
„Insgesamt gab ChatGPT bei 153 Gelegenheiten teilweise oder völlig falsche Antworten zurück, obwohl es nur sieben Mal erkannte, dass es nicht möglich war, genau auf eine Anfrage zu antworten“, sagten die Forscher. „Nur in diesen sieben Ergebnissen verwendete der Chatbot qualifizierende Wörter und Phrasen wie ‚erscheint‘, ‚ist möglich‘ oder ‚kann‘ oder Aussagen wie ‚Ich konnte den genauen Artikel nicht finden‘.“
Sie vergleichen diese unglückliche Situation mit einer normalen Internetsuche, bei der eine Suchmaschine wie Google oder Bing normalerweise ein genaues Angebot findet und den Benutzer zu der/den Website(s) weiterleitet, auf der/denen er es gefunden hat, oder behauptet, keine Ergebnisse mit einer genauen Übereinstimmung gefunden zu haben . .
„Die mangelnde Transparenz von ChatGPT hinsichtlich des Vertrauens in eine Antwort kann es für Benutzer schwierig machen, die Gültigkeit einer Behauptung zu beurteilen und zu verstehen, welchen Teilen einer Antwort sie vertrauen können und welchen nicht“, argumentieren sie.
Für Verlage drohen auch Reputationsrisiken durch fehlerhafte Zitate sowie das kommerzielle Risiko, dass Leser an andere Stellen verwiesen werden.
Dekontextualisierte Daten
Die Studie beleuchtet auch ein weiteres Problem. Dies deutet darauf hin, dass ChatGPT Plagiate grundsätzlich belohnen könnte. Die Forscher berichten über einen Fall, in dem ChatGPT fälschlicherweise eine Website als Quelle der NYT-Geschichte zitierte, die einen „ausführlich berichteten“ Nachrichtenartikel der New York Times plagiiert hatte, d. Möglicherweise hat der Bot diese falsche Antwort generiert, um eine Informationslücke zu schließen, die dadurch entstanden ist, dass er die NYT-Website nicht crawlen konnte.
„Dies wirft ernsthafte Fragen zur Fähigkeit von OpenAI auf, die Qualität und Authentizität seiner Datenquellen zu filtern und zu validieren, insbesondere wenn es um nicht lizenzierte oder plagiierte Inhalte geht“, schlagen sie vor.
In anderen Ergebnissen, die für Verlage, die Verträge mit OpenAI abgeschlossen haben, wahrscheinlich von Belang sein werden, kam die Studie zu dem Schluss, dass ChatGPT-Zitate in ihren Fällen nicht immer zuverlässig waren – die Zulassung seiner Tracker scheint also auch keine Garantie für Genauigkeit zu sein.
Die Forscher argumentieren, dass das grundlegende Problem darin besteht, dass die Technologie von OpenAI Journalismus „als dekontextualisierten Inhalt“ behandelt, offenbar ohne Rücksicht auf die Umstände seiner ursprünglichen Produktion.
Ein weiteres in der Studie hervorgehobenes Problem ist die Variation der ChatGPT-Antworten. Die Forscher stellten dem Bot mehrmals dieselbe Frage und stellten fest, dass er „normalerweise jedes Mal eine andere Antwort zurückgab“. Dies ist zwar typisch für GenAI-Tools, im Allgemeinen im Zitierkontext, diese Inkonsistenz ist jedoch offensichtlich nicht optimal, wenn es um Genauigkeit geht.
Obwohl es sich bei der Tow-Studie um einen kleinen Maßstab handelt – die Forscher geben zu, dass „strengere“ Tests erforderlich sind – ist sie angesichts der hochkarätigen Verträge, die große Verlage gerade mit OpenAI abschließen, dennoch bemerkenswert.
Wenn Medienunternehmen hofften, dass diese Vereinbarungen zu einer Sonderbehandlung ihrer Inhalte im Vergleich zu Wettbewerbern führen würden, zumindest im Hinblick auf die Erstellung genauer Quellen, deutet diese Studie darauf hin, dass OpenAI noch keine solche Konsistenz bietet.
Zwar Verlage, die keine Lizenzvereinbarungen haben, aber auch Das habe ich nicht haben die Tracker von OpenAI vollständig blockiert – vielleicht in der Hoffnung, zumindest etwas Traffic zu bekommen, wenn ChatGPT Inhalte zu ihren Geschichten zurückgibt –, die Studie ist ebenfalls düster zu lesen, da die Zitate in ihren Fällen möglicherweise auch nicht korrekt sind.
Mit anderen Worten: Es gibt keine garantierte „Sichtbarkeit“ für Herausgeber in der OpenAI-Suchmaschine, selbst wenn sie ihre Crawler zulassen.
Das vollständige Blockieren von Trackern bedeutet auch nicht, dass sich Verlage vor dem Risiko einer Reputationsschädigung schützen können, indem sie jegliche Erwähnung ihrer Geschichten auf ChatGPT unterbinden. Die Studie ergab, dass der Bot beispielsweise trotz des laufenden Rechtsstreits immer noch fälschlicherweise Artikel der New York Times zuordnete.
„Kleine bedeutende Agentur“
Die Forscher kommen zu dem Schluss, dass Verlage derzeit „wenig bedeutsamen Einfluss“ darauf haben, was mit und mit ihren Inhalten passiert, wenn ChatGPT sie in die Hände bekommt (direkt oder, nun ja, indirekt).
Der Blogbeitrag enthält eine Antwort von OpenAI auf die Umfrageergebnisse – in der den Forschern vorgeworfen wird, einen „atypischen Test unseres Produkts“ durchgeführt zu haben.
„Wir unterstützen Herausgeber und Ersteller und helfen den 250 Millionen wöchentlichen Nutzern von ChatGPT, hochwertige Inhalte durch Zusammenfassungen, Zitate, klare Links und Namensnennung zu entdecken“, sagte OpenAI außerdem und fügte hinzu: „Wir arbeiten mit Partnern zusammen, um die Genauigkeit von Inline zu verbessern und die zu respektieren.“ Einstellungen des Herausgebers, einschließlich der Möglichkeit, wie sie in der Suche angezeigt werden, indem Sie den OAI-SearchBot in Ihrer robots.txt verwalten. Wir werden die Suchergebnisse weiter verbessern.“
