Den to år lange kampen for å stoppe Amazon fra å selge ansiktsgjenkjenning til politiet

Ms Tech | Getty

Sommeren 2018, nesten 70 borgerrettighets- og forskningsorganisasjoner skrev et brev til Jeff Bezos som krever at Amazon slutter å tilby ansiktsgjenkjenningsteknologi til myndigheter. Som en del av et økt fokus på rollen som teknologiselskaper spilte i muliggjør den amerikanske regjeringens sporing og deportering av innvandrere , oppfordret den Amazon til å stå opp for borgerrettigheter og sivile friheter. Som annonsert, sa det, er Rekognition et kraftig overvåkingssystem som er lett tilgjengelig for å krenke rettigheter og målrette mot fargesamfunn.

Sammen med brevet leverte American Civil Liberties Union (ACLU) i Washington over 150 000 petisjonsunderskrifter samt en annen brev fra selskapets egne aksjonærer uttrykker lignende krav. Noen dager senere gjentok Amazons ansatte bekymringene et internt notat .

Til tross for det økende presset, fortsatte Amazon med business as usual. Det presset Anerkjennelse som et verktøy for å overvåke personer av interesse og doblet seg ned om å tilby andre overvåkingsteknologier til myndigheter. Selskapets datterselskap Ring, for eksempel kjøpt opp bare noen måneder tidligere, inngikk raskt partnerskap med mer enn 1300 rettshåndhevelsesbyråer å bruke opptak fra hjemmesikkerhetskameraene i kriminelle etterforskninger.

Men onsdag 10. juni sjokkerte Amazon borgerrettighetsaktivister og forskere da de annonserte at de ville legge inn et ettårig moratorium på politiets bruk av Rekognition. Flyttingen fulgte IBMs beslutning om å avvikle dets generelle ansiktsgjenkjenningssystem. Den neste dagen, Microsoft annonserte det det ville slutte å selge systemet sitt til politiavdelinger inntil føderal lov regulerer teknologien. Mens Amazon ga den minste innrømmelsen av de tre selskapene, er det også den største leverandøren av teknologien til rettshåndhevelse. Avgjørelsen er kulminasjonen av to års forskning og eksternt press for å demonstrere Rekognitions tekniske feil og potensiale for misbruk.

Det er utrolig at Amazon faktisk reagerer i denne nåværende samtalen rundt rasisme, sa Deborah Raji, en AI-ansvarlighetsforsker som var medforfatter en grunnleggende studie på rasemessige skjevheter og unøyaktigheter innebygd i selskapets teknologi. Det taler bare til kraften i dette nåværende øyeblikket.

Et år er en start, sier Kade Crockford, direktør for teknologifrihetsprogrammet ved ACLU i Massachusetts. Det er absolutt en innrømmelse fra selskapets side, i det minste implisitt, at det som talsmenn for raserettferdighet har fortalt dem i to år er riktig: ansiktsovervåkingsteknologi setter svarte og brune mennesker i USA i fare. Det er en bemerkelsesverdig innrømmelse.

To år underveis

I februar 2018 publiserte MIT-forsker Joy Buolamwini og Timnit Gebru, den gang en Microsoft-forsker, en banebrytende studie kalt Gender Shades om kjønn og rasemessige skjevheter innebygd i kommersielle ansiktsgjenkjenningssystemer. På den tiden inkluderte studien systemene solgt av Microsoft, IBM og Megvii, en av Kinas største leverandører av ansiktsgjenkjenning. Den omfattet ikke Amazons anerkjennelse.

Likevel var det den første studien i sitt slag, og resultatene var sjokkerende: Det verste systemet, IBMs, var 34,4 prosentpoeng dårligere til å klassifisere kjønn for mørkhudede kvinner enn lyshudede menn. Funnene avkreftet umiddelbart nøyaktighetspåstandene som selskapene hadde brukt til å selge produktene sine, og utløste en debatt om ansiktsgjenkjenning generelt.

Mens debatten raste, ble det snart klart at problemet også var dypere enn skjeve treningsdata eller ufullkomne algoritmer. Selv om systemene nådde 100 % nøyaktighet, kan de fortsatt brukes på farlige måter, advarte mange forskere og aktivister.

Et stillbilde fra Joy Buolamwinis videodikt 'AI, Ain't I A Woman?' viser noen av de alvorlige feilene som er gjort av Rekognition.

GJENNOMFØRING AV ALGORITHMIC JUSTICE LEAGUE

Det er to måter denne teknologien kan skade folk på, sier Raji som jobbet med Buolamwini og Gebru på Gender Shades. En måte er å ikke fungere: i kraft av å ha høyere feilprosent for fargede personer, setter det dem i større risiko. Den andre situasjonen er når det gjør arbeid – der du har det perfekte ansiktsgjenkjenningssystemet, men det er lett å våpen mot samfunn for å trakassere dem. Det er en separat og sammenhengende samtale.

Arbeidet til Gender Shades var å avsløre den første situasjonen, sier hun. Ved å gjøre det skapte det en åpning for å avsløre det andre.

Amazon prøvde å diskreditere forskningen deres; den prøvde å undergrave dem som svarte kvinner som ledet denne forskningen.

Meredith Whittaker

Dette er hva som skjedde med IBM. Etter at Gender Shades ble publisert, var IBM et av de første selskapene som tok kontakt med forskerne for å finne ut hvordan de kunne fikse skjevhetsproblemene. I januar 2019 ga den ut et datasett kalt Mangfold i ansikter , som inneholder over 1 million kommenterte ansiktsbilder, i et forsøk på å gjøre slike systemer bedre. Men flyttingen slo tilbake etter at folk oppdaget at bildene ble skrapet fra Flickr, noe som tok opp spørsmål om samtykke og personvern. Det utløste nok en serie interne diskusjoner om hvordan man etisk trener ansiktsgjenkjenning. Det førte dem ned i kaninhullet for å oppdage mangfoldet av problemer som eksisterer med denne teknologien, sier Raji.

Så til syvende og sist var det ingen overraskelse da selskapet endelig trakk ut kontakten. (Kritikere peke ut at systemet ikke hadde noe særlig fotfeste i markedet uansett.) IBM innså nettopp at «fordelene» på ingen måte var proporsjonale med skaden, sier Raji. Og i akkurat dette øyeblikket var det riktig tidspunkt for dem å offentliggjøre det.

Men mens IBM var lydhør overfor eksterne tilbakemeldinger, reagerte Amazon motsatt. I juni 2018, midt i alle de andre brevene som krever at selskapet stopper politiets bruk av Rekognition, Raji og Buolamwini utvidet Gender Shades-revisjonen å omfatte ytelsen. Resultatene, publisert et halvt år senere i en fagfellevurdert papir , fant nok en gang store tekniske unøyaktigheter. Anerkjennelse klassifiserte kjønnet til mørkhudede kvinner 31,4 prosentpoeng mindre nøyaktig enn kjønnet til lyshudede menn.

I juli, ACLU i Nord-California også gjennomførte sin egen studie , og fant ut at systemet feilaktig matchet bilder av 28 medlemmer av den amerikanske kongressen med mugshots. De falske fyrstikkene var uforholdsmessig fargede.

I stedet for å erkjenne resultatene publiserte Amazon to Blogg innlegg hevdet at Raji og Buolamwinis arbeid var misvisende. Som svar, nesten 80 AI-forskere , inkludert Turing Award-vinner Yoshua Bengio, forsvarte arbeidet og ba igjen selskapet om å slutte å selge ansiktsgjenkjenning til politiet.

Det var en så emosjonell opplevelse på den tiden, minnes Raji. Vi hadde gjort så mye due diligence med hensyn til resultatene våre. Og så var den første responsen så direkte konfronterende og aggressivt defensiv.

Amazon prøvde å diskreditere forskningen deres; den prøvde å undergrave dem som svarte kvinner som ledet denne forskningen, sier Meredith Whittaker, medgründer og direktør for AI Now Institute, som studerer de sosiale konsekvensene av AI. Den prøvde å spinne opp en fortelling om at de hadde tatt feil - at alle som forsto teknologien helt klart ville vite at dette ikke var et problem.

Flyttingen satte virkelig Amazon i politisk fare.

Mutale Nkonde

Faktisk, da den offentlig avviste studien, begynte Amazon å investere i å undersøke rettelser bak kulissene. Det hyret en rettferdighetsleder, investert i et forskningsstipend fra NSF for å dempe problemene, og ga ut en ny versjon av Rekognition noen måneder senere, og reagerte direkte på studiens bekymringer, sier Raji. Samtidig er det slå tilbake aksjonærinnsatsen å stanse salget av teknologien og gjennomføre en uavhengig menneskerettighetsvurdering. Det også brukt millioner lobbyvirksomhet kongressen for å unngå regulering.

Men så endret alt seg. 25. mai 2020 myrdet offiser Derek Chauvin George Floyd, noe som ga gnister en historisk bevegelse i USA for å bekjempe institusjonell rasisme og få slutt på politibrutalitet. Som svar introduserte hus- og senatdemokratene et lovforslag om politireform som inkluderer et forslag om å begrense ansiktsgjenkjenning i en rettshåndhevelsessammenheng, som markerer den største føderale innsatsen noensinne for å regulere teknologien. Da IBM annonserte at de ville avvikle systemet for ansiktsgjenkjenning, sendte det også ett brev til Congressional Black Caucus, og oppfordret til en nasjonal dialog om hvorvidt og hvordan ansiktsgjenkjenningsteknologi bør brukes av nasjonale rettshåndhevelsesbyråer.

Jeg tror at IBMs beslutning om å sende det brevet, på det tidspunktet det samme lovgivende organet vurderer et lovforslag om politireform, virkelig endret landskapet, sier Mutale Nkonde, en AI-politisk rådgiver og stipendiat ved Harvards Berkman Klein Center. Selv om de ikke var en stor aktør innen ansiktsgjenkjenning, satte flyttingen Amazon virkelig i politisk fare. Det etablerte en klar kobling mellom teknologien og den pågående nasjonale samtalen, på en måte som var vanskelig for regulatorer å ignorere.

En forsiktig optimisme

Men mens aktivister og forskere ser på Amazons konsesjon som en stor seier, erkjenner de også at krigen ikke er over. For det første var Amazons kunngjøring på 102 ord vag med hensyn til detaljer om hvorvidt moratoriet ville omfatte rettshåndhevelsesbyråer utenfor politiet, slik som US Immigration and Customs Enforcement eller Department of Homeland Security. (Amazon svarte ikke på en forespørsel om kommentar.) For en annen er utløpet på ett år også et rødt flagg.

Den kyniske delen av meg sier at Amazon kommer til å vente til protestene dør – til den nasjonale samtalen går over til noe annet – med å gå tilbake til sin tidligere posisjon, sier ACLUs Crockford. Vi vil følge nøye med for å sikre at disse selskapene ikke effektivt får god presse for disse nylige kunngjøringene, samtidig som vi jobber bak kulissene for å hindre vår innsats i lovgivende forsamlinger.

Dette er grunnen til at aktivister og forskere også tror regulering vil spille en kritisk rolle fremover. Lærdommen her er ikke at selskaper skal selvstyre, sier Whittaker. Lærdommen er at vi trenger mer press, og at vi trenger reguleringer som sikrer at vi ikke bare ser på et forbud på ett år.

Den kyniske delen av meg sier at Amazon kommer til å vente til protestene dør...for å gå tilbake til sin tidligere posisjon.

Kade Crockford

Kritikere sier at bestemmelsene om ansiktsgjenkjenning i den gjeldende politireformen, som bare forbyr sanntidsbruk i kroppskameraer, ikke er på langt nær brede nok til å holde teknologigigantene fullt ut ansvarlige. Men Nkonde er optimistisk: hun ser på dette første settet med anbefalinger som et frø til ytterligere regulering som kommer. Når de er vedtatt i loven, vil de bli et viktig referansepunkt for andre lovforslag skrevet for å forby ansiktsgjenkjenning i andre applikasjoner og sammenhenger.

Det er virkelig en større lovgivende bevegelse på både føderalt og lokalt nivå, sier hun. Og søkelyset som Floyds død har rettet mot rasistisk politipraksis har fremskyndet den utbredte støtten.

Det burde egentlig ikke ha krevd politidrapene på George Floyd, Breonna Taylor og alt for mange andre svarte mennesker – og hundretusenvis av mennesker som gikk ut i gatene over hele landet – før disse selskapene innså at kravene fra Black- og brunledede organisasjoner og lærde, fra ACLU og fra mange andre grupper var moralsk korrekte, sier Crockford. Men her er vi. Bedre sent enn aldri.

gjemme seg