Podcast: Kan AI fikse kreditten din?

Ms Tech | Pexels

Kredittscore har blitt brukt i flere tiår for å vurdere forbrukernes kredittverdighet, men omfanget deres er langt større nå som de er drevet av algoritmer. Ikke bare vurderer de mye mer data, både i volum og type, men de påvirker i økende grad om du kan kjøpe bil, leie leilighet eller få en heltidsjobb. I denne andre av en serie om automatisering og lommeboken vår utforsker vi hvor mye maskinene som bestemmer vår kredittverdighet har kommet til å påvirke langt mer enn våre økonomiske liv.

Vi møtes:

• Chi Chi Wu, stabsadvokat ved National Consumer Law Center
• Michele Gilman, professor i jus ved University of Baltimore
• Mike de Vere, administrerende direktør i Zest AI

Studiepoeng:

Denne episoden ble produsert av Jennifer Strong, Karen Hao, Emma Cillekens og Anthony Green. Vi er redigert av Michael Reilly.

Transkripsjon:

[TEKNISK REVISJONSID]

Miriam : Det var ikke uvanlig å bli låst ute av hotellrommet vårt eller at en nøkkel ikke virket og han måtte gå ned til resepsjonen og håndtere det. Og det var ikke uvanlig å betale en regning på en restaurant og så få sjekken tilbake.

Jennifer: Vi kommer til å kalle denne kvinnen Miriam for å beskytte privatlivet hennes. Hun var 21 da hun møtte mannen hun skulle gifte seg med... og... i løpet av noen få år... snu livet hennes... og den økonomiske stillingen... opp-ned.

Miriam: Men han hadde alltid en grunn og det var alltid noen andres feil.

Jennifer: Da de møttes første gang, jobbet Miram i to jobber, hun skrev budsjetter på en tavle, og hun satte inn et innhugg i studiegjelden.

Kreditten hennes var ren.

Miriam: Han tok meg med ut på middag og han tok meg med på små turer, du vet, ferietilbud på to eller tre netter til stranden eller, du vet, lokale ting. Og han betalte alltid for alt, og jeg syntes bare det var så gøy.

Miriam: Og så begynte han å spørre om han kunne bruke mine tomme kredittkort for en av virksomhetene hans. Og han ville belaste hele beløpet, omtrent 5000, og deretter betale det av innen, jeg mener, to eller tre dager hver gang. Og han kalte det bare flipping. Det skjedde en stund. Og i løpet av det ble det bare en normal ting. Så jeg sluttet på en måte å ta hensyn til det.

Jennifer: Helt til en dag... hele verden raste sammen.

Miriam: Jeg hadde, la oss se en seksåring, en toåring og en fireåring, og det er Halloween-morgen og vi er i spisestuen og gjør oss klare til å ta henne til førskolen. Og, um, FBI kom og arresterte mannen min, og det er akkurat som filmene, du vet, de går gjennom alle tingene dine og de sender en haug med menn med gjørmete støvler og våpen inn i huset ditt.

Jennifer: En føderal dommer dømte mannen hennes for å ha begått en kvart million dollar i ledningssvindel... og Miriam oppdaget titusenvis av dollar i gjeld i hennes navn.

Hun ble overlatt til å plukke opp bitene... og økonomien.

Miriam : Jeg mener at kredittpoengsummen min var under 500 på et tidspunkt. Jeg mener, det bare stupte og det tar lang tid å grave ut av det, men jeg har lært at det er litt etter litt... som jeg måtte utdanne meg til. Jeg mener, siden hele denne debakelen her, um, har jeg aldri gått glipp av noe. Det er som ... viktigere for meg enn de fleste ting ... er å holde kredittscore gyllen.

Jennifer: Hun er en overlevende av det som er kjent som tvangsgjeld. Det er en form for økonomisk overgrep ... vanligvis av en partner eller et familiemedlem.

Miriam: Det er ingen fysiske sår. Ikke sant. Og det er, dette er ikke noe du bare kan ringe til politiet på noen. Og det er vanligvis ikke en fiendtlig situasjon. Det er vanligvis pent, det er en rolig samtale hvor han jobber seg inn og så får det som han vil.

Jennifer: Økonomisk misbruk er ikke nytt ... men i likhet med identitetstyveri har det blitt mye enklere i en digital verden av elektroniske skjemaer og automatiserte avgjørelser.

Miriam: Jeg vet hva en algoritme er. Jeg skjønner det. Men hva mener du med kredittalgoritmen min?

Jennifer: Hun kom seg på beina igjen ... men mange gjør det ikke ... og ettersom algoritmer fortsetter å ta over vårt finansielle kredittsystem ... noen hevder at dette kan bli mye verre.

Gilman: Vi har et system som får mennesker som opplever vanskeligheter utenfor deres kontroll, til å se ut som deadbeats, noe som igjen påvirker deres evne til å få de nødvendige mulighetene for å unnslippe fattigdom og oppnå økonomisk stabilitet.

Jennifer: Men andre hevder det Ikke sant algoritmer for kredittscoring ... kan være inngangsporten til en bedre fremtid ... hvor skjevheter kan utryddes ... og systemet gjøres mer rettferdig.

Fra Vere: Så fra mitt perspektiv er kreditt lik mulighet. Det er veldig viktig som samfunn at vi får det til. Vi tror det kan være en 2.0-versjon av det, som utnytter maskinlæring.

Jennifer: Jeg heter Jennifer Strong, og i denne andre av en serie om automatisering og lommeboken vår utforsker vi hvor mye maskinene som bestemmer kredittverdigheten vår har kommet til å påvirke langt mer enn våre økonomiske liv.

[IMWT ID]

Jennifer: Det pleide å være når noen ønsket et lån ... de dannet relasjoner med folk i en bank eller kredittforening som tok avgjørelser om hvor trygg eller risikabel investeringen virket.

Som denne scenen fra 1940-tallets juleklassiker, It’s a Wonderful Life... der filmens hovedperson bestemmer seg for å låne ut sine egne penger til kunder for å holde virksomheten flytende... etter et forsøk på løp på banken.

George: Jeg fikk 2000 dollar! Her er $2000, dette vil binde oss til banken gjenåpner. Greit, Tom, hvor mye trenger du?

Tom: $242.

George: Å Tom. Akkurat nok til å få deg over til banken gjenopptar—.

Tom: Jeg tar $242!

George: Der er du.

Tom: Det vil stenge kontoen min.

George: Kontoen din er fortsatt her. Det er et lån!

Jennifer: I disse dager gir bankene lån uten noen gang å møte mange av kundene sine... Ofte er disse beslutningene automatiserte... basert på data fra kredittrapporten din... som sporer ting som kredittkortsaldo, billån, studiegjeld... og inkluderer en blanding av andre personlig informasjon…

På 1950-tallet ønsket industrien en måte å standardisere disse rapportene... så dataforskere fant ut en måte å ta den informasjonen på... kjøre den gjennom en datamodell og spytte ut et tall...

Det er din kredittpoengsum ... og det er ikke bare banker som bruker dem til å ta avgjørelser. Avhengig av hvor du bor, refererer alle slags grupper til dette nummeret ... inkludert utleiere ... forsikringsselskaper ... til og med arbeidsgivere.

Wu: Forbrukerne er ikke kundene for kredittbyråer. Vi er det, eller dataene våre er varen. Vi er ikke kundene, vi er kyllingen. Vi, vi er tingen som blir solgt...

Jennifer: Chi Chi Wu er forbrukeradvokat og advokat ved National Consumer Law Center.

Wu: Og som et resultat er insentivene i dette markedet litt rotete. Incentivene skal tjene behovene til kreditorer og andre brukere av rapporter og ikke forbrukere.

Jennifer: Når det gjelder kredittrapporter, er det tre som holder nøklene …. Equifax, Experian og Transunion.

Men disse rapportene er langt fra omfattende ... og de kan være unøyaktige.

Wu: Det er uakseptabelt høye nivåer av feil i kredittrapporter. Nå fant dataene fra den endelige studien av den føderale handelskommisjonen at én av fem forbrukere hadde en bekreftet feil på kredittrapporten. Og én av 20 eller 5 % hadde en feil så alvorlig at den ville føre til at de ble nektet kreditt, eller at de måtte betale mer.

Jennifer: Klager til den føderale regjeringen om disse rapportene har eksplodert de siste årene ... og i fjor under pandemien? Klager på feil doblet seg.

Disse utgjør mer enn halvparten av alle klager som sendes inn til C-F-P-B -- eller Consumer Financial Protection Bureau i den amerikanske regjeringen.

Men Wu mener selv uten noen feil, måten kredittpoeng brukes på... er et problem.

Wu: Så problemet er arbeidsgivere... utleiere. De begynner å se på kredittrapporter og kredittscore som en slags refleksjon av en persons underliggende ansvar, deres verdi som person, deres karakter. Og det er bare helt feil. Det vi ser er at folk ender opp med negativ informasjon på kredittrapporten fordi de har slitt økonomisk fordi noe vondt har skjedd med dem. Så folk som har mistet jobben, som har blitt syke. De kan ikke betale regningene sine. Og denne pandemien er den perfekte illustrasjonen på det, og du kan virkelig se dette i raseforskjellene i kredittscoring. Kredittscorene for svarte samfunn er mye lavere enn for hvite samfunn, og for Latin X-samfunn er det et sted i mellom. Og har ingenting med karakter å gjøre. Det har alt med ulikhet å gjøre.

Jennifer: Og ettersom industrien erstatter eldre kredittpoengmetoder med maskinlæring ... bekymrer hun seg for at dette kan forskanse problemet.

Wu: Og hvis det ikke kontrolleres, hvis det ikke er noen bevisst kontroll for dette, hvis vi ikke er på vakt mot dette, vil det samme skje med de algoritmene som skjedde med kredittscoring, som vil være, de vil hindre fremgangen til de historisk marginaliserte samfunnene .

Jennifer: Hun bekymrer seg spesielt for selskaper som lover at kredittscoringsalgoritmene deres er mer rettferdige fordi de bruker alternative data ... data som visstnok er mindre utsatt for rasemessig skjevhet ...

Wu: Som mobiltelefonregningen din, eller husleien din, til de mer funky fringy, big data. Hva er i feeden din for sosiale medier for den første typen alternative data som er på en måte konvensjonelle eller økonomiske, um, mitt mantra har vært djevelens i detaljene. Noen av disse dataene ser lovende ut. Andre typer data kan være svært risikable. Så det er min bekymring for kunstig intelligens og maskinlæring. Ikke at vi aldri skal bruke dem. Du bare, du må bruke dem, ikke sant? Du må bruke dem med vilje. De kan være løsningen. Hvis de blir fortalt er et av målene dine å minimere forskjellene for marginaliserte grupper. Du vet at målet ditt er å være like prediktiv eller mer prediktiv med mindre forskjeller.

Jennifer: Kongressen vurderer å begrense arbeidsgiveres bruk av kredittrapporter ... og noen stater har flyttet for å forby dem å fastsette forsikringspriser ... eller tilgang til rimelige boliger.

Men bevissthet er også et problem.

Gilman: Det er mange kredittrapporteringsskader som påvirker folk uten deres viten. Og hvis du ikke vet at du har blitt skadet, kan du ikke få hjelp eller rettsmidler,

Jennifer: Michelle Gilman er en klinisk jusprofessor ved University of Baltimore ...

Gilman: Jeg ble ikke undervist om algoritmisk beslutningstaking på jusstudiet, og de fleste jusstudenter er det fortsatt ikke. Og de kan bli veldig skremt av tanken på å måtte utfordre en algoritme.

Jennifer: Hun er ikke sikker på når hun først la merke til at algoritmer tok avgjørelser for kundene hennes. Men ett tilfelle skiller seg ut... av en eldre og funksjonshemmet klient hvis hjemmehelsetjeneste under Medicaid-programmet ble drastisk kuttet... selv om klienten ble sykere...

Gilman: Og det var ikke før vi var foran en forvaltningsrettslig dommer i en omstridt høring at det ble klart at kuttet i timene skyldtes en algoritme. Og likevel kunne ikke vitnet for staten som var sykepleier forklare noe om algoritmen. Hun gjentok bare om og om igjen at det var internasjonalt og statistisk validert, men hun kunne ikke fortelle oss hvordan det fungerte, hvilke data som ble matet inn i det, hvilke faktorer det veide, hvordan faktorene ble veid. Og så min studentadvokat ser på meg og vi ser på hverandre og tenker, hvordan kryssundersøker vi en algoritme?

Jennifer: Hun tok kontakt med andre advokater rundt om i landet som opplevde det samme. Og hun innså at problemet var langt større ...

Gilman: Og når det kommer til algoritmer, opererer de på tvers av nesten alle aspekter av kundens liv.

Jennifer: Og kredittrapporteringsalgoritmer er de mest gjennomgripende.

Firmaet hennes ser ofre som får uventet gjeld ... noen ganger på grunn av motgang ... andre ganger fra medisinske regninger ... eller ... på grunn av identitetstyveri, der noen andre tar lån i ditt navn ...

Men virkningen er den samme ... den veier ned kredittscore ... og selv når gjelden er slettet, kan det ha langsiktige effekter.

Gilman: Som en god forbrukeradvokat må vi vite at det noen ganger ikke er nok å løse selve rettssaken foran deg. Du må også gå ut og rydde opp i ringvirkningene til disse algoritmesystemene. Mange fattigdomsadvokater deler de samme skjevhetene som befolkningen generelt gjør når det gjelder å se et datamaskingenerert resultat og tenke at det er nøytralt, det er objektivt, det er riktig. Det er på en måte magi. Det er som en kalkulator. Og ingen av disse antakelsene er sanne, men vi trenger opplæringen og ressursene for å forstå hvordan disse systemene fungerer. Og så må vi som et fellesskap utvikle bedre verktøy slik at vi kan spørre disse systemene slik at vi kan utfordre disse systemene.

Jennifer: Etter pausen... Vi ser på arbeidet med å automatisere rettferdighet i kredittrapportering.

[midroll]

Fra Vere: AI hjelper på to måter: det er mer data og bedre matematikk. Og så hvis du tenker på begrensninger på gjeldende matematikk, vet du, de kan trekke inn et par dusin variabler. Og, eh, hvis jeg prøvde å beskrive for deg Jennifer, eh, med to dusin variabler, vet du, kunne jeg nok fått en ganske god beskrivelse, men tenk om jeg kunne hente inn mer data og jeg beskrev deg med 300 til tusen variabler som signaliserer og oppløsning resulterer i en langt mer nøyaktig prediksjon av din kredittverdighet som låntaker.

Jennifer: Mike de Vere er administrerende direktør i Zest AI. Det er ett av flere selskaper som ønsker å legge til transparens til kreditt- og lånegodkjenningsprosessen ... med programvare utviklet for å ta hensyn til noen av de aktuelle problemene med kredittscore ... inkludert rase, kjønn og annen potensiell skjevhet.

For å forstå hvordan det fungerer... trenger vi først en liten kontekst. I USA er det ulovlig for långivere (annet enn boliglånere) å samle inn data om rase. Dette var opprinnelig ment forhindre diskriminering.

Men en persons rase har en sterk sammenheng med navnet deres ... hvor de bor ... hvor de gikk på skolen ... og hvor mye de får betalt. Det betyr at ... selv uten rasedata ... kan en maskinlæringsalgoritme lære å diskriminere uansett ... ganske enkelt fordi den er innbakt.

Så långivere prøver å se etter dette og luke ut diskrimineringen i utlånsmodellene deres. Det eneste problemet? For å verifisere hvordan du har det, trenger du på en måte å kjenne låntakernes rase ... uten det ... långivere er tvunget til å gjøre en utdannet gjetning.

Fra Vere: Så den aksepterte tilnærmingen er et akronym BISG og den bruker i utgangspunktet to variabler, postnummeret ditt og etternavnet ditt. Og så jeg heter Mike De Vere og den delen av California jeg kommer fra, med et navn som det ville jeg komme ut som latinamerikansk eller latinsk X, men likevel er jeg irsk.

Jennifer: Med andre ord ... bransjestandarden for hvordan du gjør dette er ofte rett og slett feil. Så selskapet hans har en annen tilnærming.

Fra Vere: Vi tror det kan finnes en 2.0-versjon av det – utnytte maskinlæring.

Jennifer: I stedet for å forutsi rase på bare to variabler ... bruker den mange flere ... som personens fornavn og mellomnavn ... og andre geografiske data - som folketellingen deres ... eller skolestyredistriktet.

Han sier i en nylig test i Florida at denne metoden overgikk standardmodellen med 60 prosent.

Fra Vere: Hvorfor betyr det noe? Det er viktig fordi det er hagen din til hvordan du har det.

Jennifer: Deretter tar han en tilnærming som kalles adversarial de biasing.

Grunntanken er dette . Selskapet starter med én maskinlæringsmodell som er opplært til å forutsi hvor risikabelt en gitt låntaker er.

Fra Vere: La oss si at den har 300 til 500 datapunkter for å tildele risiko for en person.

Jennifer: Den har da en sekund maskinlæringsmodell som prøver å gjette rasen til den låntakeren ... (basert på funnene fra den første).

Hvis spådommene til den andre modellen samsvarer med utdataene til raseprediktoren ... sier han at det betyr at systemet koder for skjevhet ... og bør justeres ... ved å justere hvor mye det veier hvert av datapunktene.

Fra Vere: Så de 300 til 500 signalene kan vi justere opp eller ned hvis det blir en proxy for rase. Og så det du ender opp med er ikke bare en ytelsesmodell som gir god økonomi, men samtidig har du en modell som er nesten fargeblind i den prosessen.

Jennifer: Han sier det har ført til mer inkluderende utlånspraksis.

Fra Vere: Vi jobber med en av de største kredittforeningene i USA utenfor Florida. Og så hva det betyr for vår kredittforening er mer ja for flere av medlemmene deres. Men det de virkelig var begeistret for var at det var en økning på 26 % i godkjenning for kvinner. Tjuefem prosent økning i godkjenning for medlemmer av farge.

Jennifer: Selv om det er oppmuntrende... Alle som hevder å ha en løsning for flere tiår med skade forårsaket av algoritmisk beslutningstaking... vil ha mye å overvinne for å vinne folks tillit.

Det er en oppgave som blir enda vanskeligere når den foreslåtte løsningen på en dårlig algoritme... er en annen algoritme.

Treasury Department ga nylig veiledning - fremhever bruken av AI-kredittgaranti som en nøkkelrisiko for bankvirksomhet... advarte om kostnadene som følger med deres ugjennomsiktige natur... og la til et notat som, sitat, bankledelsen?.. burde kunne forklare og forsvare forsikrings- og modelleringsbeslutninger.

Som ... selv med de mest gjennomsiktige verktøyene ... fortsatt føles som en stor ordre.

Og uten moderne regulering er det også uklart hvem som overvåker disse kredittscoringsmonitorene ... og hvem bestemmer om ting som telefondata eller informasjon fra sosiale medier er fair play?

Spesielt mens sluttresultatene fortsetter å bli brukt til ikke-kredittformål ... som ansettelse eller forsikring.

[KREDITTER]

Denne episoden ble produsert av meg, Karen Hao, Emma Cillekens og Anthony Green. Vi er redigert av Michael Reilly.

Takk for at du lyttet, jeg heter Jennifer Strong.

[TEKNISK REVISJONSID]

gjemme seg