Sie konnte aufgrund einer KI-generierten Bewertung keine Wohnung bekommen – und klagte, um anderen zu helfen, das gleiche Schicksal zu vermeiden

Tdreihundertvierundzwanzig. Das war die Punktzahl, die Mary Louis von einem KI-gestützten Mieter-Screening-Tool erhielt. Die SafeRent-Software erklärte in ihrem 11-seitigen Bericht nicht, wie der Score berechnet wurde oder wie verschiedene Faktoren gewichtet wurden. Es wurde nicht gesagt, was die Partitur tatsächlich bedeutete. Er zeigte lediglich Louis‘ Nummer an und stellte fest, dass sie zu niedrig war. In einem Feld neben dem Ergebnis stand im Bericht: „Bewertungsempfehlung: ABLEHNEN.“

Louis, der als Wachmann arbeitet, beantragte eine Wohnung im Osten Massachusetts Vorort. Als sie die Einheit besuchte, teilte ihr der Administrator mit, dass sie kein Problem damit haben würde, dass ihre Bewerbung angenommen würde. Obwohl ihre Kreditwürdigkeit niedrig war und sie einige Kreditkartenschulden hatte, erhielt sie von ihrem Vermieter, mit dem sie seit 17 Jahren zusammen war, eine hervorragende Referenz, die ihr sagte, dass sie ihre Miete immer pünktlich bezahlt habe. Es würde auch einen Gutschein für einkommensschwache Mieter verwenden, um sicherzustellen, dass die Verwaltungsgesellschaft mindestens einen Teil ihrer monatlichen Miete als staatliche Zahlungen erhält. Ihr Sohn, dessen Name ebenfalls auf dem Gutschein steht, hatte eine hohe Kreditwürdigkeit, was darauf hindeutet, dass dieser als Puffer gegen versäumte Zahlungen dienen könnte.

Doch im Mai 2021, mehr als zwei Monate nachdem sie sich für die Wohnung beworben hatte, teilte ihr die Verwaltungsgesellschaft per E-Mail mit, dass ein Computerprogramm ihren Antrag abgelehnt hatte. Sie musste eine Punktzahl von mindestens 443 erreichen, damit ihre Bewerbung angenommen wurde. Es gab keine weitere Erklärung und es gab keine Möglichkeit, gegen die Entscheidung Berufung einzulegen.

„Mary, wir bedauern, Ihnen mitteilen zu müssen, dass der Drittanbieter, den wir zur Überprüfung aller potenziellen Mieter nutzen, Ihre Vermietung abgelehnt hat“, heißt es in der E-Mail. „Leider war der SafeRent-Mietwert des Dienstes niedriger, als es unsere Mietstandards zulassen.“

Ein Mieter klagt

Louis musste eine teurere Wohnung mieten. Das Management hat es nicht algorithmisch bewertet. Sie stellte jedoch fest, dass ihre Erfahrung mit SafeRent nicht einzigartig war. Sie gehörte zu einer Klasse von mehr als 400 schwarzen und hispanischen Mietern in Massachusetts, die Wohngutscheine verwendeten, und sagte, ihre Mietanträge seien aufgrund ihres SafeRent-Scores abgelehnt worden.

Im Jahr 2022 schlossen sie sich zusammen, um das Unternehmen im Rahmen der Messe zu verklagen Gehäuse Act mit dem Vorwurf, dass SafeRent sie diskriminiert habe. Louis und die andere genannte Klägerin, Monica Douglas, behaupteten, dass der Algorithmus des Unternehmens schwarze und hispanische Mieter, die Wohngutscheine verwendeten, überproportional schlechter bewertete als weiße Bewerber. Sie behaupteten, dass die Software irrelevante Kontoinformationen darüber, ob sie gute Mieter wären – Kreditwürdigkeit, Nichtwohnschulden – falsch ausgewertet habe, aber nicht berücksichtigt habe, dass sie einen Wohngutschein verwenden würden. Studien haben gezeigt, dass schwarze und hispanische Mietbewerber mit größerer Wahrscheinlichkeit eine schlechtere Kreditwürdigkeit haben und Wohngutscheine verwenden als weiße Bewerber.

„Es war Zeitverschwendung, auf einen Rückgang zu warten“, sagte Louis. „Ich wusste, dass meine Kreditwürdigkeit nicht gut war. Aber die KI kennt mein Verhalten nicht – sie wusste, dass ich mit meinen Kreditkartenzahlungen im Verzug war, aber sie wusste nicht, dass ich immer meine Miete bezahle.“

Zwei Jahre sind vergangen, seit die Gruppe SafeRent zum ersten Mal verklagt hat – so lange, dass Louis sagt, sie habe ihr Leben weitergeführt und die Klage weitgehend vergessen, obwohl sie eine von nur zwei namentlich genannten Klägern war. Aber ihre Maßnahmen könnten andere Mieter, die ähnliche Wohnungsbauprogramme nutzen, die im US-Bundesgesetzbuch als „Section 8 Vouchers“ für ihren Platz bekannt sind, dennoch davor schützen, aufgrund einer algorithmisch ermittelten Punktzahl Wohnraum zu verlieren.

SafeRent hat einen Deal mit Louis und Douglas abgeschlossen. Zusätzlich zur Zahlung einer Zahlung in Höhe von 2,3 Millionen US-Dollar stimmte das Unternehmen zu, kein Bewertungssystem mehr zu verwenden oder Empfehlungen jeglicher Art abzugeben, wenn es um potenzielle Mieter ging, die Wohngutscheine fünf Jahre lang genutzt hatten. Obwohl SafeRent rechtlich kein Fehlverhalten eingestanden hat, kommt es selten vor, dass ein Technologieunternehmen im Rahmen einer Einigung Änderungen an seinen Kernprodukten akzeptiert; Das häufigste Ergebnis solcher Vereinbarungen wäre eine finanzielle Einigung.

„Obwohl SafeRent weiterhin davon überzeugt ist, dass die SRS-Ergebnisse allen geltenden Gesetzen entsprechen, sind Rechtsstreitigkeiten zeitaufwändig und teuer“, sagte Unternehmenssprecherin Yazmin Lopez in einer Erklärung. „Es wird immer deutlicher, dass die Verteidigung des SRS-Scores in diesem Fall Zeit und Ressourcen verschwenden würde, die SafeRent besser nutzen kann, um seine Kernaufgabe zu erfüllen, nämlich Wohnungsanbietern die Tools zur Verfügung zu stellen, die sie zur Überprüfung von Bewerbern benötigen.“

Ihr neuer KI-Besitzer

„Mieterüberprüfungssysteme wie SafeRent werden oft genutzt, um den direkten Kontakt mit Bewerbern zu vermeiden und die Schuld für die Ablehnung auf ein Computersystem abzuwälzen“, sagte Todd Kaplan, einer der Anwälte, die Louis und die Gruppe der Kläger vertraten, die das Unternehmen verklagt hatten.

Die Immobilienverwaltungsgesellschaft teilte Louis mit, dass die Software selbst entschieden habe, sie abzulehnen, aber der SafeRent-Bericht zeigte, dass es die Verwaltungsgesellschaft war, die den Schwellenwert für die erforderliche Punktzahl einer Person festlegte, damit ihre Bewerbung angenommen werden konnte.

Dennoch ist die Funktionsweise des Algorithmus selbst für am Bewerbungsprozess beteiligte Personen undurchsichtig. Die Hausverwaltung, die Louis die Wohnung gezeigt hatte, sagte, sie sehe nicht ein, warum Louis Probleme mit der Anmietung der Wohnung haben sollte.

„Sie geben viele Informationen ein und SafeRent erstellt ihr eigenes Bewertungssystem“, sagte Kaplan. „Es macht es für die Leute schwieriger vorherzusagen, wie SafeRent sie sehen wird. Nicht nur Mieter, die sich bewerben, auch Vermieter kennen die Details des SafeRent-Scores nicht.“

Im Rahmen der Vereinbarung von Louis mit SafeRent, die am 20. November genehmigt wurde, kann das Unternehmen kein Bewertungssystem mehr verwenden oder empfehlen, einen Mieter aufzunehmen oder abzulehnen, wenn dieser einen Wohngutschein verwendet. Wenn das Unternehmen ein neues Bewertungssystem einführt, muss es es von einer unabhängigen Organisation für fairen Wohnungsbau validieren lassen.

„Durch das Entfernen der positiven und negativen Bestimmung kann der Mieter wirklich sagen: ‚Ich bin ein großartiger Mieter‘“, sagte Kaplan. „Dadurch wird die Bestimmung viel individueller.“

KI breitet sich auf grundlegende Bereiche des Lebens aus

Laut einer Studie waren fast alle der 92 Millionen Menschen, die in den USA als einkommensschwach gelten, in wichtigen Lebensbereichen wie Beschäftigung, Wohnen, Medizin, Schule oder staatlicher Unterstützung der KI-Entscheidungsfindung ausgesetzt. Neuer Bericht über die Schäden von KI von Rechtsanwalt Kevin de Liban, der im Rahmen der Legal Aid Society Menschen mit niedrigem Einkommen vertrat. Der Gründer einer neuen KI-Justizorganisation rief an Gerechtigkeit TechTonicDe Liban begann 2016 mit der Untersuchung dieser Systeme, als er von behinderten Patienten in Arkansas angesprochen wurde, die aufgrund automatisierter Entscheidungsfindung, die menschliches Eingreifen überflüssig machte, plötzlich nicht mehr so ​​viele Stunden staatlich finanzierter häuslicher Pflege erhielten. In einem Fall basierte der staatliche Verzicht auf Medicaid auf einem Programm, das feststellte, dass ein Patient keine Probleme mit seinem Fuß hatte, weil dieser amputiert worden war.

„Mir wurde klar, dass wir (KI-Systeme) nicht als eine Art äußerst rationale Art der Entscheidungsfindung aufschieben sollten“, sagte De Liban. Er sagte, dass diese Systeme auf mehreren Annahmen basieren, die auf „schrottiger statistischer Wissenschaft“ basieren und das produzieren, was er „Unsinn“ nennt.

Im Jahr 2018, nachdem De Liban im Namen dieser Patienten das Arkansas Department of Human Services wegen des Entscheidungsprozesses der Abteilung verklagt hatte, entschied der Gesetzgeber des Bundesstaates, dass die Behörde dies tun könne Automatisieren Sie nicht mehr Festlegung der Quoten für die häusliche Pflege von Patienten. Der Sieg von De Liban war ein früher Sieg im Kampf gegen den Schaden, der durch algorithmische Entscheidungsfindung verursacht wird, obwohl der landesweite Einsatz in anderen Bereichen wie der Beschäftigung weiterhin besteht.

Trotz Mängeln schränken nur wenige Vorschriften die Verbreitung von KI ein

Es gibt nur wenige Gesetze, die den Einsatz von KI einschränken, insbesondere bei der Entscheidungsfindung mit Konsequenzen, die sich auf die Lebensqualität einer Person auswirken können, ebenso wie Möglichkeiten zur Rechenschaftspflicht für Menschen, die durch automatisierte Entscheidungen geschädigt werden.

Eine Umfrage durchgeführt von VerbraucherberichteDie im Juli veröffentlichte Studie stellte fest, dass sich die Mehrheit der Amerikaner „unwohl mit dem Einsatz von KI und algorithmischer Entscheidungstechnologie in wichtigen Lebensmomenten, wenn es um Wohnen, Beschäftigung und Gesundheit geht“, fühlte. Die Befragten gaben an, sie seien besorgt darüber, nicht zu wissen, welche Informationen KI-Systeme für ihre Auswertung verwendeten.

Anders als im Fall von Louis werden Menschen oft nicht benachrichtigt, wenn ein Algorithmus verwendet wird, um eine Entscheidung über ihr Leben zu treffen, was es schwierig macht, gegen diese Entscheidungen Berufung einzulegen oder sie anzufechten.

„Die bestehenden Gesetze, die wir haben, können hilfreich sein, aber sie bieten nur begrenzte Möglichkeiten“, sagte De Liban. „Die Marktkräfte funktionieren nicht, wenn es um die Armen geht. Im Grunde besteht der ganze Anreiz darin, mehr schlechte Technologie zu produzieren, und es gibt keinen Anreiz für Unternehmen, gute Optionen für Menschen mit niedrigem Einkommen zu entwickeln.“

Die Bundesregulierungsbehörden unter Joe Biden haben mehrere Versuche unternommen, mit der sich schnell entwickelnden KI-Branche Schritt zu halten. Der Präsident erließ eine Durchführungsverordnung, die einen Rahmen enthielt, der unter anderem auf die nationale Sicherheit und Risiken im Zusammenhang mit Diskriminierung in KI-Systemen eingehen sollte. Allerdings hat Donald Trump versprochen, diese Arbeit rückgängig zu machen und die Vorschriften zu reduzieren, einschließlich Bidens Durchführungsverordnung zu KI.

Dies könnte Klagen wie die von Louis zu einem wichtigeren Weg für die Rechenschaftspflicht von KI machen als je zuvor. Nun zum Prozess Interesse geweckt vom Justizministerium und dem US-amerikanischen Ministerium für Wohnungsbau und Stadtentwicklung – beide befassen sich mit diskriminierender Wohnungspolitik, die geschützte Klassen betrifft.

„Da es sich um einen bahnbrechenden Fall handelt, hat er das Potenzial, einen Fahrplan für die Analyse dieser Fälle zu liefern und weitere Herausforderungen zu fördern“, sagte Kaplan.

Dennoch werde es ohne Regulierung schwierig sein, diese Unternehmen zur Rechenschaft zu ziehen, sagte De Liban. Klagen kosten Zeit und Geld, und Unternehmen finden möglicherweise einen Weg, Problemumgehungen oder ähnliche Produkte für Personen zu entwickeln, die nicht von Sammelklagen erfasst werden. „Solche Fälle können nicht jeden Tag eingereicht werden“, sagte er.