Den kommende krigen mot de skjulte algoritmene som fanger mennesker i fattigdom

Daniel Zender

Miriam var bare 21 da hun møtte Nick. Hun var en fotograf, fersk fra college, ventebord. Han var 16 år eldre enn henne og en lokal bedriftseier som hadde jobbet med finans. Han var sjarmerende og karismatisk; han tok henne med ut på fancy dater og betalte for alt. Hun falt raskt ned i banen hans.

Det begynte med ett kredittkort. På den tiden var det den eneste hun hadde. Nick ville maksimalt det ut med $5000 verdt av forretningskjøp og umiddelbart betale det av neste dag. Miriam, som ba meg om å ikke bruke deres virkelige navn i frykt for å forstyrre deres pågående skilsmissesak, oppdaget at dette økte kredittpoengene hennes. Etter å ha vokst opp med en enslig far i en husholdning med lav inntekt, stolte hun på Nicks kunnskap fremfor sin egen. Han oppmuntret lett til dynamikken og fortalte henne at hun ikke forsto økonomi. Hun åpnet opp flere kredittkort for ham under hennes navn.

Problemet startet tre år etter. Nick ba henne om å slutte i jobben for å hjelpe til med virksomheten hans. Hun gjorde. Han ba henne gå på videregående skole og ikke bekymre seg for å øke den eksisterende studentgjelden hennes. Hun gjorde. Han lovet å ta seg av alt, og hun trodde ham. Like etter sluttet han å gjøre opp kredittkortsaldoene hennes. Poengsummen hennes begynte å kratre.

Likevel ble Miriam hos ham. De ble gift. De hadde tre barn. Så en dag kom FBI til huset deres og arresterte ham. I føderal domstol dømte dommeren ham for nesten 250 000 dollar for svindel. Miriam oppdaget hele omfanget av de titusenvis av dollar i gjeld han hadde samlet opp i hennes navn. Dagen han gikk i fengsel, hadde jeg 250 dollar i kontanter, et hus i tvangsauktion, en bil til overtakelse, tre barn, sier hun. Jeg gikk i løpet av en måned fra å ha barnepike og bo i et fint hus og alt til å bare virkelig fattigdom.

Miriam er en overlevende fra det som er kjent som tvangsgjeld, en form for overgrep vanligvis begått av en intim partner eller et familiemedlem. Mens økonomisk misbruk er et langvarig problem, har digital bank gjort det enklere å åpne kontoer og ta opp lån i et offers navn, sier Carla Sanchez-Adams, en advokat ved Texas RioGrande Legal Aid. I en tid med automatiserte algoritmer for kredittscoring, kan konsekvensene også være langt mer ødeleggende.

Kredittscore har blitt brukt i flere tiår for å vurdere forbrukernes kredittverdighet, men omfanget deres er langt større nå som de er drevet av algoritmer: ikke bare vurderer de mye mer data, både i volum og type, men de påvirker i økende grad om du kan kjøpe en bil, leie en leilighet, eller få en fulltidsjobb. Deres omfattende innflytelse betyr at hvis poengsummen din blir ødelagt, kan det være nesten umulig å gjenopprette. Verre er at algoritmene eies av private selskaper som ikke røper hvordan de kommer til sine beslutninger. Ofre kan sendes i en nedadgående spiral som noen ganger ender i hjemløshet eller tilbakevending til overgriperen.

Algoritmer for kredittscoring er ikke de eneste som påvirker folks økonomiske velvære og tilgang til grunnleggende tjenester. Algoritmer bestemmer nå hvilke barn som kommer inn i fosterhjem, hvilke pasienter som får medisinsk behandling, hvilke familier som får tilgang til stabil bolig. De av oss med midler kan passere livet uvitende om noe av dette. Men for lavinntektsindivider har den raske veksten og bruken av automatiserte beslutningssystemer skapt et skjult nett av sammenlåsende feller.

Heldigvis begynner en voksende gruppe sivile advokater å organisere seg rundt dette problemet. Ved å låne en lekebok fra den kriminelle forsvarsverdenens tilbakeslag mot risikovurderingsalgoritmer, prøver de å utdanne seg selv om disse systemene, bygge et fellesskap og utvikle rettsstrategier. I utgangspunktet begynner alle sivile advokater å forholde seg til disse tingene, fordi alle våre klienter på en eller annen måte blir berørt av disse systemene, sier Michele Gilman, en klinisk jusprofessor ved University of Baltimore. Vi må våkne, få trening. Skal vi være virkelig gode helhetlige advokater, må vi være bevisste på det.

Skal jeg kryssforske en algoritme?

Gilman har praktisert jus i Baltimore i 20 år. I arbeidet hennes som siviladvokat og fattigdomsadvokat har sakene hennes alltid kommet ned på de samme tingene: å representere mennesker som har mistet tilgang til grunnleggende behov, som bolig, mat, utdanning, arbeid eller helsetjenester. Noen ganger betyr det å møte et offentlig organ. Andre ganger er det med et kredittrapporteringsbyrå eller en utleier. I økende grad involverer kampen om en klients kvalifisering nå en slags algoritme.

Dette skjer over hele linja til våre kunder, sier hun. De er innblandet i så mange forskjellige algoritmer som hindrer dem fra grunnleggende tjenester. Og klientene er kanskje ikke klar over det, fordi mange av disse systemene er usynlige.

For lavinntektsindivider kan en midlertidig økonomisk motgang føre til en ond sirkel som noen ganger ender i konkurs eller hjemløshet.

JON TYSON / UNSPLASH

Hun husker ikke nøyaktig når hun innså at noen valgbarhetsbeslutninger ble tatt av algoritmer. Men da overgangen først begynte å skje, var det sjelden åpenbart. En gang representerte hun en eldre, funksjonshemmet klient som på uforklarlig vis var blitt avskåret fra hennes Medicaid-finansierte hjemmehelsehjelp. Vi kunne ikke finne ut hvorfor, husker Gilman. Hun ble sykere, og vanligvis hvis du blir sykere, får du flere timer, ikke mindre.

Ikke før de sto i rettssalen midt i en høring, avslørte vitnet som representerte staten at regjeringen nettopp hadde tatt i bruk en ny algoritme. Vitnet, en sykepleier, kunne ikke forklare noe om det. Selvfølgelig ikke - de kjøpte den fra hylla, sier Gilman. Hun er en sykepleier, ikke en dataforsker. Hun kunne ikke svare på hvilke faktorer som spiller inn. Hvordan vektes det? Hva er resultatene du ser etter? Så der er jeg med advokatstudenten min, som er på klinikken min sammen med meg, og det er som: 'Å, skal jeg kryssforhøre en algoritme?'

For Kevin De Liban, en advokat ved Legal Aid of Arkansas, var endringen like lumsk. I 2014 innførte staten hans også et nytt system for distribusjon av Medicaid-finansiert hjemmehjelp, og kuttet av en hel rekke mennesker som tidligere hadde vært kvalifisert. På den tiden kunne han og kollegene ikke identifisere rotproblemet. De visste bare at noe var annerledes. Vi kunne kjenne igjen at det var en endring i vurderingssystemene fra et 20-spørsmål til et elektronisk spørreskjema med 283 spørsmål, sier han.

Det var to år senere, da en feil i algoritmen nok en gang brakte den under juridisk gransking, at De Liban endelig kom til bunns i saken. Han innså at sykepleiere sa til pasienter: Vel, datamaskinen gjorde det – det er ikke meg. Det var det som tipset oss, sier han. Hvis jeg hadde visst det jeg visste i 2016, hadde jeg nok gjort en bedre jobb med å forfekte i 2014, legger han til.

En person går gjennom så mange systemer på en daglig basis

Gilman har siden blitt mye mer kunnskapsrik. Fra hennes utsiktspunkt som representerer kunder med en rekke problemer, har hun observert økningen og kollisjonen av to algoritmiske nett. Den første består av kredittrapporteringsalgoritmer, som de som fanget Miriam, som påvirker tilgangen til private varer og tjenester som biler, hjem og sysselsetting. Den andre omfatter algoritmer vedtatt av offentlige etater, som påvirker tilgangen til offentlige ytelser som helsetjenester, arbeidsledighet og barnehjelp.

På kredittrapporteringssiden har veksten av algoritmer blitt drevet av spredningen av data, som er enklere enn noen gang å samle inn og dele. Kredittrapporter er ikke nye, men i disse dager er fotavtrykket deres langt mer ekspansivt. Forbrukerrapporteringsbyråer, inkludert kredittbyråer, leietakerscreeningsselskaper eller sjekkverifiseringstjenester, samler denne informasjonen fra en lang rekke kilder: offentlige registre, sosiale medier, nettsurfing, bankaktivitet, appbruk og mer. Algoritmene tildeler deretter folk verdighetspoeng, som er viktig i bakgrunnssjekker utført av långivere, arbeidsgivere, utleiere, til og med skoler.

Offentlige etater er derimot drevet til å ta i bruk algoritmer når de ønsker å modernisere systemene sine. Presset for å ta i bruk nettbaserte apper og digitale verktøy begynte tidlig på 2000-tallet og har fortsatt med en bevegelse mot mer datadrevne automatiserte systemer og AI. Det er gode grunner til å søke disse endringene. Under pandemien slet mange dagpengesystemer med å håndtere det enorme volumet av nye forespørsler, noe som førte til betydelige forsinkelser. Modernisering av disse eldre systemene lover raskere og mer pålitelige resultater.

Men programvareanskaffelsesprosessen er sjelden gjennomsiktig, og mangler derfor ansvarlighet. Offentlige etater kjøper ofte automatiserte beslutningsverktøy direkte fra private leverandører. Resultatet er at når systemer går galt, blir de berørte individene – og deres advokater – stående i mørket. De annonserer det ikke noe sted, sier Julia Simon-Mishel, advokat ved Philadelphia Legal Assistance. Det er ofte ikke skrevet i noen form for policyguider eller policymanualer. Vi er i en ulempe.

Mangelen på offentlig kontroll gjør også systemene mer utsatt for feil. En av de mest alvorlige funksjonsfeilene skjedde i Michigan i 2013. Etter en stor innsats for å automatisere statens arbeidsledighetstrygdsystem, ble algoritmen feilaktig flagget over 34 000 personer for svindel . Det forårsaket et massivt tap av fordeler, sier Simon-Mishel. Det var konkurser; det var dessverre selvmord. Det var et helt rot.

Gilman bekymrer seg for at koronavirusrelatert gjeld og utkastelser vil bli kodifisert til kredittscore, noe som gjør det permanent vanskeligere for folk å få jobb, leiligheter og lån.

SCOTT HEINS/GETTY BILDER

Personer med lav inntekt bærer hovedtyngden av skiftet mot algoritmer. De er menneskene som er mest sårbare for midlertidige økonomiske vanskeligheter som blir kodifisert i forbrukerrapporter, og de som trenger og søker offentlige fordeler. Gjennom årene har Gilman sett flere og flere tilfeller der klienter risikerer å gå inn i en ond sirkel. En person går gjennom så mange systemer på en daglig basis, sier hun. Jeg mener, det gjør vi alle. Men konsekvensene av det er mye tøffere for fattige mennesker og minoriteter.

Hun tar opp en aktuell sak i sin klinikk som eksempel. Et familiemedlem mistet arbeidet på grunn av pandemien og ble nektet dagpenger på grunn av en automatisert systemfeil. Familien falt deretter på etterskudd med husleie, noe som førte til at utleieren deres saksøkte dem for utkastelse. Mens utkastelsen ikke vil være lovlig på grunn av CDCs moratorium , vil søksmålet fortsatt være logget i offentlige registre. Disse postene kan deretter inngå i algoritmer for screening av leietakere, noe som kan gjøre det vanskeligere for familien å finne stabil bolig i fremtiden. Deres unnlatelse av å betale husleie og verktøy kan også påvirke kredittpoengene deres, noe som igjen får konsekvenser. Hvis de prøver å sette opp mobiltelefontjeneste eller ta opp et lån eller kjøpe en bil eller søke jobb, har det bare disse gjennomgripende ringvirkningene, sier Gilman.

Hver sak kommer til å bli til en algoritmesak

I september, Gilman, som for tiden er fakultetsstipendiat ved forskningsinstituttet Data and Society, gitt ut en rapport dokumentere alle de ulike algoritmene som fattigdomsadvokater kan møte. Kalt Fattigdomslovgivning , det er ment å være en guide for hennes kolleger på feltet. Delt inn i spesifikke praksisområder som forbrukerlov, familierett, bolig og offentlige ytelser, forklarer den hvordan man skal håndtere problemer som reises av algoritmer og andre datadrevne teknologier innenfor rammen av eksisterende lover.

Hvis en klient blir nektet en leilighet på grunn av dårlig kredittscore, for eksempel, anbefaler rapporten at en advokat først sjekker om dataene som mates inn i scoringssystemet er nøyaktige. I henhold til Fair Credit Reporting Act er rapporteringsbyråer pålagt å sikre gyldigheten av informasjonen deres, men dette skjer ikke alltid. Å bestride eventuelle feilkrav kan bidra til å gjenopprette kundens kreditt og dermed tilgang til bolig. Rapporten erkjenner imidlertid at eksisterende lover bare kan gå så langt. Det er fortsatt regulatoriske hull å fylle, sier Gilman.

Gilman håper rapporten vil være en vekker. Mange av kollegene hennes skjønner fortsatt ikke at noe av dette skjer, og de er ikke i stand til å stille de riktige spørsmålene for å avdekke algoritmene. De som er klar over problemet er spredt rundt i USA, lærer om, navigerer og kjemper mot disse systemene isolert. Hun ser en mulighet til å knytte dem sammen og skape et bredere fellesskap av mennesker som kan hjelpe hverandre. Vi trenger alle mer opplæring, mer kunnskap – ikke bare i jussen, men i disse systemene, sier hun. Til syvende og sist er det som om hver sak kommer til å bli til en algoritmesak.

Relatert historie

Logger på for å bli kastet ut: Inne i USAs virtuelle utkastelseskrise Tusenvis av leietakere blir kastet ut av hjemmene sine via telefon og videosamtale.

På sikt ser hun til den strafferettslige verden for inspirasjon. Kriminelle advokater har vært i forkant, sier hun, i å organisere seg som et fellesskap og presse tilbake mot risikovurderingsalgoritmer som bestemmer straffutmålingen. Hun vil se sivile advokater gjøre det samme: skape en bevegelse for å bringe mer offentlig gransking og regulering til det skjulte nettet av algoritmer deres klienter står overfor. I noen tilfeller bør det sannsynligvis bare stenges fordi det ikke er mulig å gjøre det rettferdig, sier hun.

Når det gjelder Miriam, forsvant hun for godt etter Nicks domfellelse. Hun flyttet med sine tre barn til en ny stat og koblet til en ideell organisasjon som støtter overlevende etter tvangsgjeld og vold i hjemmet. Gjennom dem tok hun en rekke klasser som lærte henne hvordan hun skal håndtere økonomien. Organisasjonen hjalp henne med å si opp mange av hennes tvangsgjeld og lære mer om kredittalgoritmer. Da hun gikk for å kjøpe en bil, klarte kredittpoengene hennes så vidt minimum med faren som medundertegner. Siden den gang har hennes konsekvente betalinger på bilen hennes og studiegjelden sakte gitt opp kredittpoengsummen hennes.

Miriam må fortsatt være årvåken. Nick har personnummeret hennes, og de er ennå ikke skilt. Hun bekymrer seg hele tiden for at han kan åpne flere kontoer, ta opp flere lån i hennes navn. En stund sjekket hun kredittrapporten sin daglig for uredelig aktivitet. Men i disse dager har hun også noe å se frem til. Faren hennes, i midten av 60-årene, ønsker å pensjonere seg og flytte inn. De to er nå laserfokuserte på å forberede seg på å kjøpe bolig. Jeg er ganske psyket over det. Målet mitt er å få den til 700 mot slutten av året, sier hun om poengsummen sin, og da er jeg definitivt klar for boligkjøper.

Jeg har aldri bodd i et hus jeg har eid, noen gang, legger hun til. Han og jeg jobber sammen for å spare til et evig hjem.

gjemme seg