Forutinntatte algoritmer er overalt, og ingen ser ut til å bry seg

Kate Crawford, talte på AI Now-konferansen på MIT denne uken. John Maeda (@johnmaeda)

Ugjennomsiktige og potensielt partiske matematiske modeller omskaper livene våre – og verken selskapene som er ansvarlige for å utvikle dem eller myndighetene er interessert i å ta tak i problemet.

Denne uken lanserte en gruppe forskere, sammen med American Civil Liberties Union, et forsøk på å identifisere og fremheve algoritmisk skjevhet. De AI Now-initiativ ble annonsert på et arrangement holdt på MIT for å diskutere det mange eksperter ser på som en økende utfordring.

Algoritmisk skjevhet er i ferd med å bli et stort samfunnsproblem i et kritisk øyeblikk i utviklingen av maskinlæring og AI. Hvis skjevheten som lurer inne i algoritmene som tar stadig viktigere beslutninger blir ukjent og ukontrollert, kan det få alvorlige negative konsekvenser, spesielt for fattigere samfunn og minoriteter. Det eventuelle skriket kan også hindre fremgangen til en utrolig nyttig teknologi (se Inspeksjon av algoritmer for skjevhet).

Algoritmer som kan skjule skjulte skjevheter brukes allerede rutinemessig for å ta viktige økonomiske og juridiske avgjørelser. Proprietære algoritmer brukes for å avgjøre for eksempel hvem som får jobbintervju, hvem som får prøveløslatelse og hvem som får lån .

Grunnleggerne av det nye AI Now-initiativet, Kate Crawford , en forsker hos Microsoft, og Meredith Whittaker, en forsker hos Google, sier skjevhet kan eksistere i alle slags tjenester og produkter.

Det er fortsatt tidlig for å forstå algoritmisk skjevhet, sa Crawford og Whittaker i en e-post. Akkurat i år har vi sett flere systemer som har problemer, og dette er bare de som har blitt undersøkt.

Eksempler på algoritmiske skjevheter som har kommet frem i lyset i det siste, sier de, inkluderer feilaktige og feilrepresentative systemer som brukes til å rangere lærere , og kjønnsorienterte modeller for naturlig språkbehandling.

Cathy O'Neil, en matematiker og forfatter av Weapons of Math Destruction , en bok som fremhever risikoen for algoritmisk skjevhet i mange sammenhenger, sier at folk ofte er for villige til å stole på matematiske modeller fordi de tror det vil fjerne menneskelig skjevhet. [Algorithmer] erstatter menneskelige prosesser, men de holdes ikke til de samme standardene, sier hun. Folk stoler for mye på dem.

En sentral utfordring, sier disse og andre forskere, er at viktige interessenter, inkludert selskapene som utvikler og anvender maskinlæringssystemer og offentlige regulatorer, viser liten interesse for å overvåke og begrense algoritmisk skjevhet. Finans- og teknologiselskaper bruker alle slags matematiske modeller og er ikke transparente om hvordan de opererer. O’Neil sier for eksempel at hun er bekymret for hvordan algoritmene bak Googles nye jobbsøketjeneste fungerer.

Relatert historie

Relatert historie Uten vitenskapelige og teknologiske rådgivere i Det hvite hus kan president Trump slite med å svare på kriser.

O’Neil har tidligere jobbet som professor ved Barnard College i New York og som kvantitativ analytiker i selskapet D. E. Shaw. Hun er nå leder for Online risikorådgivning og algoritmisk revisjon , et selskap opprettet for å hjelpe bedrifter med å identifisere og korrigere skjevhetene i algoritmene de bruker. Men O'Neil sier at selv de som vet at algoritmene deres har en risiko for skjevhet, er mer interessert i bunnlinjen enn i å utrydde skjevhet. Jeg skal være ærlig med deg, sier hun. Jeg har ingen kunder akkurat nå.

O’Neil, Crawford og Whittaker advarer alle også om at Trump-administrasjonens mangel på interesse for AI – og for vitenskap generelt – betyr at det ikke er noen reguleringsbevegelse for å løse problemet (se The Gaping, Dangerous Hold in the Trump Administration).

Office of Science and Technology Policy er ikke lenger aktivt engasjert i AI-politikk – eller mye av noe som helst ifølge nettstedet deres, skriver Crawford og Whittaker. Politisk arbeid nå må gjøres andre steder.

gjemme seg