Ein künstliches Intelligenzsystem, das von der britischen Regierung zur Aufdeckung von Sozialbetrug eingesetzt wird, zeigt Voreingenommenheit gegenüber dem Alter, der Behinderung, dem Familienstand und der Nationalität der Menschen, wie The Guardian aufdecken kann.
Eine interne Einschätzung von a Programm für maschinelles Lernen, mit dem Tausende von Universal Credit-Zahlungsansprüchen in ganz England verarbeitet werden stellte fest, dass bei der Empfehlung, gegen wen wegen möglichem Betrug ermittelt werden sollte, fälschlicherweise Personen aus einigen Gruppen häufiger ausgewählt wurden als aus anderen.
Die Aufnahme erfolgte in Dokumente freigegeben gemäß dem Freedom of Information Act des Department for Work and Pensions (DWP). Der „statistisch signifikante Ergebnisunterschied“ ergab sich aus einer im Februar dieses Jahres durchgeführten „Angemessenheitsanalyse“ des automatisierten universellen Kreditvorschusssystems.
Die Enthüllung der Voreingenommenheit erfolgte, nachdem die DWP diesen Sommer behauptet hatte, dass das KI-System „keine unmittelbaren Bedenken hinsichtlich Diskriminierung, unfairer Behandlung oder schädlicher Auswirkungen auf Kunden aufwirft“.
Diese Zusicherung kam teilweise daher, dass die endgültige Entscheidung darüber, ob eine Person Sozialhilfe erhält, immer noch von einem Menschen getroffen wird, und die Beamten glauben, dass das System weiterhin genutzt wird – was dazu beitragen soll, die Arbeitslosenunterstützung um schätzungsweise 8 Milliarden US-Dollar zu kürzen. Pfund pro Jahr, die durch Betrug und Irrtümer verloren gehen – ist „angemessen und verhältnismäßig“.
Den Offenlegungen zufolge wurde jedoch noch keine Fairnessanalyse hinsichtlich potenzieller Vorurteile durchgeführt, die sich auf Rasse, Geschlecht, sexuelle Orientierung und Religion oder Schwangerschaft, Mutterschaft und Transgender-Status konzentrieren.
Die Aktivisten reagierten, indem sie der Regierung eine „Zuerst verletzen, später reparieren“-Politik vorwarfen und die Minister aufforderten, offener darüber zu sprechen, welche Gruppen durch den Algorithmus wahrscheinlich verdächtigt würden, das System zu betrügen.
„Es ist klar, dass die DWP in den allermeisten Fällen nicht beurteilt hat, ob ihre automatisierten Prozesse das Risiko einer unfairen Ausrichtung auf marginalisierte Gruppen bergen“, sagte Caroline Selman, leitende Forscherin beim Public Law Project, die die Analyse zuerst erhalten hatte.
„Die DWP muss diesem Ansatz ‚Zuerst Schaden, später reparieren‘ ein Ende setzen und die Einführung von Werkzeugen einstellen, wenn sie nicht in der Lage ist, das Schadensrisiko, das sie darstellen, richtig zu verstehen.“
Das Erkennen von Unterschieden in der Art und Weise, wie das automatisierte System Betrugsrisiken bewertet, wird wahrscheinlich auch die Kontrolle über den schnell wachsenden Einsatz von KI-Systemen durch die Regierung verstärken und den Ruf nach mehr Transparenz verstärken.
Nach einer unabhängigen Zählung gibt es mindestens 55 automatisierte Tools, die von Behörden im Vereinigten Königreich eingesetzt werden Sie beeinflussen möglicherweise die Entscheidungen von Millionen von Menschen, obwohl das staatliche Register nur neun umfasst.
Letzten Monat, der Guardian enthüllt dass seit Angaben der Regierung keine einzige Whitehall-Abteilung den Einsatz von KI-Systemen registriert habe es würde zur Pflicht werden Anfang dieses Jahres.
Aufzeichnungen zeigen, dass staatliche Stellen Dutzende Aufträge für künstliche Intelligenz und algorithmische Dienstleistungen vergeben haben. Eine von der Polizei gegründete Beschaffungsstelle der Polizei hat im vergangenen Monat einen Auftrag für Gesichtserkennungssoftware im Wert von bis zu 20 Millionen Pfund ausgeschrieben InnenministeriumWiederbelebung der Bedenken hinsichtlich der „massenhaften biometrischen Überwachung“.
Peter Kyle, Staatssekretär für Wissenschaft und Technologie, hat dies zuvor getan sagte dem Guardian dass der öffentliche Sektor „die Notwendigkeit, transparent über die Art und Weise zu sein, wie die Regierung Algorithmen einsetzt, nicht ernst genug genommen hat“.
Regierungsbehörden, darunter das Innenministerium und das DWP, zögerten in den letzten Jahren, mehr über ihren Einsatz künstlicher Intelligenz preiszugeben, mit der Begründung, sie würden es böswilligen Akteuren ermöglichen, Systeme zu manipulieren.
Es ist nicht klar, welche Altersgruppen mit größerer Wahrscheinlichkeit fälschlicherweise für Betrugsprüfungen durch den Algorithmus ins Visier genommen werden, da das DWP diesen Teil der Fairness-Analyse bearbeitet hat.
Es wurde auch nicht offengelegt, ob Menschen mit Behinderungen mit größerer oder geringerer Wahrscheinlichkeit fälschlicherweise von dem Algorithmus zur Prüfung ausgewählt werden als Menschen ohne Behinderungen, oder welchen Unterschied es in der Art und Weise gibt, wie der Algorithmus verschiedene Nationalitäten behandelt. Beamte sagten, dies ziele darauf ab, Betrüger daran zu hindern, das System zu manipulieren.
Ein DWP-Sprecher sagte: „Unser KI-Tool ersetzt nicht das menschliche Urteilsvermögen und ein Fallmanager wird immer alle verfügbaren Informationen prüfen, um eine Entscheidung zu treffen. Wir ergreifen mutige und entschlossene Maßnahmen, um Leistungsbetrug zu bekämpfen – unser Betrugs- und Fehlerrechner wird mehr ermöglichen.“ effiziente und wirksame Ermittlungen, um Kriminelle, die das Leistungssystem ausnutzen, schneller zu identifizieren.“
