Det er en enkel måte å gjøre utlån mer rettferdig for kvinner. Problemet er at det er ulovlig.

Kredittpoeng er lagt over mannlige og kvinnelige symboler.

Kredittpoeng er lagt over mannlige og kvinnelige symboler. Selman Design





Tidligere denne uken lanserte New Yorks Department of Financial Services en etterforskning av Goldman Sachs for potensiell kredittdiskriminering etter kjønn. Undersøkelsen kom etter at nettgründer David Heinemeier Hansson tvitret at Apple-kortet, som Goldman administrerer, hadde gitt ham en kredittgrense 20 ganger som gikk til kona hans, selv om de to leverte felles selvangivelse og hun hadde bedre kredittscore.

Som svar la Goldman ut en uttalelse som sa at den ikke tok hensyn til kjønn når kredittverdigheten ble fastsatt. Logikken var sannsynligvis ment å være et forsvar - hvordan kan du diskriminere kvinner når du ikke en gang vet at noen er en kvinne? Men faktisk er det nettopp problemet å unnlate å redegjøre for kjønn. Forskning på algoritmisk rettferdighet har tidligere vist at det faktisk hjelper å vurdere kjønn minske kjønnsskjevhet. Ironisk nok er det ulovlig å gjøre det i USA.



Nå utfordrer foreløpige resultater fra en pågående studie finansiert av FN-stiftelsen og Verdensbanken nok en gang rettferdigheten til kjønnsblinde kredittlån. Studien fant at å lage helt separate kredittverdighetsmodeller for menn og kvinner ga flertallet av kvinnene mer kreditt.

Så: bør loven oppdateres?

Sexismen ved å være kjønnsblind

Hvis du ikke vil diskriminere etter kjønn, hvorfor ikke bare fjerne kjønn fra ligningen? Dette var premisset for Lov om likeverdige kredittmuligheter (ECOA), vedtatt i USA i 1974, i en tid da kvinner regelmessig ble nektet kreditt. Det gjorde det ulovlig for enhver kreditor å diskriminere på grunnlag av kjønn eller å vurdere kjønn ved vurdering av kredittverdighet. (I 1976 ble den oppdatert for å forby diskriminering etter rase, nasjonal opprinnelse og andre egenskaper beskyttet av den føderale regjeringen.)



Men i maskinlæring kan kjønnsblindhet være problemet. Selv når kjønn ikke er spesifisert, kan det lett utledes fra andre variabler som korrelerer sterkt med det. Som et resultat forsterker modeller trent på historiske data strippet for kjønn fortsatt tidligere ulikheter. Det samme gjelder rase og andre egenskaper. Dette er sannsynligvis det som skjedde i Apple Card-saken: fordi kvinner historisk ble gitt mindre kreditt, lærte algoritmen å opprettholde det mønsteret.

I en studie fra 2018 , fant et samarbeid mellom informatikere og økonomer at den beste måten å dempe disse problemene på faktisk var å gjeninnføre egenskaper som kjønn og rase i modellen. Å gjøre det gir mer kontroll for å måle og reversere eventuelle manifesterte skjevheter, noe som resulterer i mer rettferdighet totalt sett.

Kjønnsdifferensierte kredittutlån

Den siste studien tester en ny hypotese: vil separate modeller for menn og kvinner redusere kjønnsskjevheten ytterligere? På et arrangement arrangert av FN-stiftelsen tirsdag, presenterte Sean Higgins, en assisterende professor ved Northwestern University og en forsker på studien, foreløpige funn som tyder på at de ville gjort det.



I samarbeid med en forretningsbank i Den dominikanske republikk gjennomførte forskerne to separate analyser av 20 000 lavinntektsindivider, halvparten av dem kvinner. I den første analysen brukte forskerne individenes tilbakebetalingshistorie og kjønn for å trene en enkelt maskinlæringsmodell for å forutsi kredittverdighet. I den andre analysen trente forskerne en modell med kun data om tilbakebetaling av lån fra kvinnene. De fant at 93 % av kvinnene fikk mer kreditt i denne modellen enn i den der menn og kvinner ble blandet sammen.

Dette skjer, sier Higgins, fordi kvinner og menn har ulik kreditthistorie og ulik tilbakebetalingsadferd – enten det er av historiske, kulturelle eller andre grunner. Kvinner har for eksempel større sannsynlighet for å betale tilbake lånene sine, sier han. Men disse forskjellene er ikke tatt med i den kombinerte modellen, som lærer å forutsi kredittverdighet på grunnlag av gjennomsnitt for kvinner og menn. Følgelig underforutsier slike modeller sannsynligheten for at kvinner betaler tilbake lånene sine og ender opp med å gi dem mindre kreditt enn de fortjener.

Mens Higgins og hans samarbeidspartnere testet denne hypotesen spesifikt for kvinner med lav inntekt i Den dominikanske republikk, bør de kvalitative resultatene gjelde uavhengig av kontekst. De bør også gjelde andre egenskaper enn kjønn, og på andre domener enn finans.



Hva skal man gjøre med loven

Problemet er at denne typen enkeltkjønnsmodell er ulovlig. Spørsmålet er om beslutningstakere derfor bør oppdatere ECOA.

Higgins er for. Den nyere forskningen på algoritmisk rettferdighet har kommet til en ganske klar konklusjon om at vi bør bruke ting som rase og kjønn i algoritmene, sier han. Hvis bankene ikke har tilgang til disse variablene og ikke engang kan bygge inn sikkerhetskontrollene for å sikre at algoritmene deres ikke er forutinntatte, er den eneste måten vi finner ut om disse skjevhetene på når folk tvitrer om ulikheter som de møter i naturen.

Men Andrew Selbst, en assisterende jusprofessor ved UCLA som spesialiserer seg i skjæringspunktet mellom AI og jus, advarer mot å bevege seg for raskt. Å omskrive loven på den måten åpner muligheter for dårlige skuespillere til å begynne å inkludere rasevariabler og kjønnsvariabler og diskriminere vilt på en måte som er veldig vanskelig å politi, sier han. Han bekymrer seg også for at denne løsningen ikke vil ta hensyn til ikke-binære eller transpersoner og utilsiktet skade dem.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.

gjemme seg