AI har forverret rasemessig skjevhet i boliger. Kan det hjelpe å eliminere det i stedet?

En diskusjon om hvorvidt maskiner noen gang kan være rettferdigere enn mennesker. Av

• Charlton McIlwain arkivside

20. oktober 2020

Andrea Daquino

Vår kommende magasinutgave er viet langsiktige problemer. Få problemer er langsiktige eller mer uløselige enn USAs systemiske raseulikhet. Og en spesielt forankret form for det er boligdiskriminering.

En lang historie med politikk fra banker, forsikringsselskaper og eiendomsmeglere har nektet fargede personer en rettferdig sjanse til å eie bolig, konsentrert rikdom og eiendom i hendene på hvite mennesker og lokalsamfunn, og videreført de facto segregering. Selv om disse retningslinjene – med navn som redlining, blockbusting, rasistisk sonering, restriktive pakter og rasemessig styring – ikke lenger er lovlige, vedvarer konsekvensene deres, og noen ganger praktiseres de fortsatt skjult eller utilsiktet.

Denne historien var en del av november 2020-utgaven vår

• Se resten av saken
• Abonnere

Teknologi har i noen tilfeller forverret USAs systemiske raseskjevhet. Algoritmisk basert ansiktsgjenkjenning, prediktivt politiarbeid og straffeutmåling og kausjonsavgjørelser har for eksempel vist seg å gi dårligere resultater for svarte mennesker. Også på boligområdet viste nyere forskning fra University of California, Berkeley at et AI-basert boliglånssystem belastet svarte og latinamerikanske låntakere høyere rente enn hvite mennesker for de samme lånene.

Kan teknologi brukes til å redusere skjevheten i boliger i stedet? Vi samlet noen eksperter for å diskutere mulighetene. De er:

Lisa Rice

President og administrerende direktør for National Fair Housing Alliance, det største konsortiet av organisasjoner dedikert til å få slutt på boligdiskriminering.

Bobby Bartlett

Jusprofessor ved UC Berkeley som ledet forskningen og ga noen av de første storskala bevisene for hvordan kunstig intelligens skaper diskriminering i boliglån.

Charlton McIlwain

Professor i medier, kultur og kommunikasjon ved NYU og forfatter av Svart programvare: Internett og raserettferdighet, fra Afronet til Black Lives Matter .

---

Denne diskusjonen har blitt redigert og komprimert for klarhet.

McIlwain: Da jeg vitnet for kongressen i desember i fjor om virkningen av automatisering og kunstig intelligens i finansnæringen, siterte jeg en fersk studie som fant at i motsetning til menneskelige låneansvarlige, godkjente automatiserte boliglånssystemer relativt sett boliglån, uten å diskriminere basert på rase. Imidlertid belaster de automatiserte systemene fortsatt svarte og latinamerikanske låntakere betydelig høyere priser for disse lånene.

Dette gjør meg skeptisk til at AI kan eller vil gjøre det bedre enn mennesker. Bobby – dette var studiet ditt. Har du trukket de samme konklusjonene?

Bartlett: Vi hadde tilgang til et datasett som gjorde det mulig for oss å identifisere den registrerte utlåneren og om denne utlåneren brukte et fullstendig automatisert system, uten noen menneskelig innblanding – i det minste når det gjelder godkjenning og garanti. Vi hadde informasjon om rasen og etnisiteten til den registrerte låntakeren og var i stand til å identifisere hvorvidt prisene på godkjente lån var forskjellig etter rase. Faktisk gjorde det det, med omtrent 800 millioner dollar i året.

Hvorfor er det slik at disse algoritmene, som er blindet for låntakerens rase eller etnisitet, vil diskriminere på denne måten? Arbeidshypotesen vår er at algoritmene ofte bare prøver å maksimere prisen. Antagelig er den som designer algoritmen ikke klar over den rasemessige konsekvensen av dette målrettede fokuset på lønnsomhet. Men de trenger å forstå at det er denne rasedynamikken, at proxy-variablene de bruker - med all sannsynlighet er det der diskrimineringen er. På en eller annen måte er det faktisk rødlinje av den rødeste typen som går inn gjennom koden. Det ligner det som skjer i boliglånsmarkedet generelt. Vi vet at meglere vil oppgi høyere priser til minoritetslåntakere, vel vitende om at noen vil avvise det, men andre vil være mer sannsynlig å akseptere det av en rekke årsaker.

McIlwain: Jeg har en teori om at en av grunnene til at vi ender opp med partiske systemer – selv når de ble bygget for å være mindre diskriminerende – er fordi menneskene som designer dem egentlig ikke forstår den underliggende kompleksiteten til problemet. Det virker for meg å være en viss naivitet ved å tro at et system ville være partisk bare fordi det er raseblind.

Ris: Du vet, Charlton, vi hadde det samme perspektivet som du hadde på 90-tallet og begynnelsen av 2000-tallet. Vi forbød finansinstitusjoner å bruke forsikringsscoring, risikobasert prissetting eller kredittscoringssystemer for nettopp dette formålet. Vi innså at systemene i seg selv viste skjevheter. Men så begynte vi å si at du bare kan bruke dem hvis de hjelper folk, utvider tilgangen eller genererer rettferdige priser.

McIlwain: Går folk som designer disse systemene galt fordi de egentlig ikke grunnleggende forstår det underliggende problemet med boligdiskriminering? Og kommer din kilde til optimisme fra det faktum at du og organisasjoner som din forstår den kompleksiteten?

Ris: Vi er en borgerrettighetsorganisasjon. Det er det vi er. Vi gjør alt arbeidet vårt gjennom en rasemessig likestillingslinse. Vi er en antirasismeorganisasjon.

I løpet av å løse problemer med redlining og omvendt redlining, oppfordret vi finansinstitusjonene og forsikringsbyråene til å revurdere forretningsmodellene sine, revurdere hvordan de markedsførte, revurdere sine tegningsretningslinjer, revurdere produktene de utviklet. Og jeg tror grunnen til at vi klarte det er fordi vi er et borgerrettighetsbyrå.

Relatert historie

Selvfølgelig opprettholder teknologi rasisme. Den ble designet på den måten. Svarte amerikanere har sett teknologi brukes til å målrette dem igjen og igjen. Å stoppe det betyr å se på problemet annerledes.

Vi starter med å hjelpe bedrifter med å forstå historien til bolig og finans i USA og hvordan alle våre bolig- og finanspolitikker har blitt fulgt gjennom et raseperspektiv. Du kan ikke starte på nullpunktet når det gjelder å utvikle et system og tro at systemet kommer til å være rettferdig. Du må utvikle den på en måte som bruker antirasistiske teknologier og metoder.

McIlwain: Kan vi fortsatt realistisk gjøre et inngrep i dette problemet ved å bruke de teknologiske verktøyene vi har til rådighet? Hvis ja, hvor skal vi begynne?

Ris: Ja – når finanskrisen i 2008 var over litt og vi så opp, var det som om teknologien hadde innhentet oss. Og så bestemte vi oss for, kanskje hvis vi ikke kan slå det, kanskje vi blir med. Så vi brukte mye tid på å prøve å lære hvordan algoritmebaserte systemer fungerer, hvordan AI fungerer, og vi har faktisk kommet til det punktet hvor vi tror vi nå kan bruke teknologi for å redusere diskriminerende utfall.

Hvis vi forstår hvordan disse systemene manifesterer skjevheter, kan vi komme inn i innmaten, forhåpentligvis, og deretter de-bias disse systemene, og bygge nye systemer som tilfører de-biasing teknikkene i dem.

Vi har egentlig ikke reguleringsbyråer som forstår hvordan man gjennomfører en eksamen av en låneinstitusjon for å finne ut om systemet er partisk eller ikke.

Men når du tenker på hvor langt bak kurven vi er, er det virkelig skremmende å tenke på alt arbeidet som må gjøres, all forskningen som må gjøres. Vi trenger flere Bobbys av verden. Men også all utdanning som må gjøres slik at dataforskere forstår disse problemstillingene.

Ris: Vi prøver å få regulatorer til å forstå hvordan systemene viser skjevheter. Du vet, vi har egentlig ikke et organ av sensorer ved reguleringsbyråer som forstår hvordan man gjennomfører en eksamen av en låneinstitusjon for å finne ut om systemet – dets automatiserte underwriting-system, markedsføringssystemet, servicesystemet – er eller ikke forutinntatt. Men institusjonene utvikler selv sin egen organisasjonspolitikk som kan hjelpe.

Den andre tingen vi må gjøre er å virkelig øke mangfoldet i teknologiområdet. Vi må få flere studenter med ulike bakgrunner inn i STEM-felt og inn i teknologiområdet for å bidra til å gjennomføre endringer. Jeg kan tenke på en rekke eksempler der bare det å ha en farget person på laget gjorde en stor forskjell når det gjelder å øke rettferdigheten til teknologien som ble utviklet.

McIlwain: Hvilken rolle spiller politikken? Jeg forstår at på samme måte som borgerrettighetsorganisasjoner var bak industrien når det gjaldt å forstå hvordan algoritmiske systemer fungerer, er mange av våre beslutningstakere bak kurven. Jeg vet ikke hvor stor tro jeg vil ha på deres evne til å realistisk fungere som en effektiv kontroll av systemet, eller på at de nye AI-systemene raskt kommer inn på boliglånsarenaen.

McIlwain: Jeg forblir skeptisk. For nå, for meg, overstiger omfanget av problemet fortsatt langt både vår kollektive menneskelige vilje og evnene til teknologien vår. Bobby, tror du teknologi noen gang kan hjelpe
dette problemet?

Bartlett: Jeg må svare på det med advokaten Det kommer an på. Det vi ser, i det minste i utlånssammenheng, er at du kan eliminere kilden til skjevhet og diskriminering som du observerte med ansikt-til-ansikt-interaksjoner gjennom en slags algoritmisk beslutningstaking. Baksiden er at hvis den implementeres feil, kan du ende opp med et beslutningsapparat som er like dårlig som et redlining-regime. Så det avhenger virkelig av utførelsen, typen teknologi og omsorgen som den er distribuert med. Men et rettferdig utlånsregime som er operasjonalisert gjennom automatisert beslutningstaking? Jeg synes det er et veldig utfordrende forslag. Og jeg tror den juryen fortsatt er ute.

gjemme seg