211service.com
Hva skjer når en algoritme tar feil
I den første av en firedelt serie på FaceID, utforsker verten Jennifer Strong den falske arrestasjonen av Robert Williams av politiet i Detroit. Det rare med Willliams prøvelse var ikke at politiet brukte ansiktsgjenkjenning for å identifisere ham – det er at politiet fortalte ham om det. Det er ingen lov som sier at de må. Episoden begynner å pakke ut kompleksiteten til denne teknologien og introduserer noen vanskelige spørsmål om bruken av den.
Vi møtes:
- Robert og Melissa Williams
- Peter Fussey, University of Essex
- Hamid Khan, Stopp LAPDs spionkoalisjon
Studiepoeng:
Denne episoden ble rapportert og produsert av Jennifer Strong, Tate Ryan-Mosley og Emma Cillekens. Vi hadde hjelp fra Karen Hao og Benji Rosen. Vi er redigert av Michael Reilly og Gideon Lichfield. Vår tekniske direktør er Jacob Gorski. Spesiell takk til Kyle Thomas Hemingway og Eric Mongeon.
Utskrift av hele episoden:
Robert Williams: Jeg ble helt sjokkert og lamslått over å bli arrestert på høylys dag, foran datteren min, foran min kone, foran naboene mine. Det var noe av det mest sjokkerende jeg noen gang har skjedd med meg.
Jennifer Strong: Det er Robert Williams. Han beskriver hva som skjedde utenfor hjemmet hans i en velstående forstad til Detroit kalt Farmington Hills i januar.
Jennifer Strong: Dagen startet som alle andre.
Robert Williams: Det var bare en kjedelig torsdag.
Jennifer Strong: Han reiste seg, gikk på jobb. Men så ble ting rart.
Robert Williams: På telefon med Melissa rundt 4.
Jennifer Strong: Melissa er kona hans. De er midt i en samtale når han hører den andre linjen.
Robert Williams: Jeg klikker over. Jeg sier 'hallo?'
'Robert?'
Og jeg tenker: 'Hvem er dette?'
'Du må komme ned og gi deg selv inn.'
'Hvem er dette?'
'Offiser noen fra tredje distrikt.'
'Og jeg må gi meg inn for hva?'
Så han sa: 'Det kan jeg ikke fortelle deg.'
Og jeg tenker: 'Da kan jeg ikke komme ned.'
«Vel, hvis du kommer ned, ville det være mye lettere for deg. Du vil vel ikke at vi skal komme ut på jobben din?
På dette tidspunktet tror jeg det er en spøk.
Så jeg tenker: 'Se, mann, hvis du vil ha meg, kom og hent meg. Jeg skal være hjemme. Ta med en arrestordre.' Og jeg legger på på ham.
Jennifer Strong: Melissa er hjemme og venter på moren og datteren, og hun går for å hilse på dem når de kommer inn.
Melissa Williams: Og mens jeg gikk gjennom, så jeg ut og politibilen sto utenfor.
Og jeg sa: 'Å, så det var ikke en spøk. Det er virkelig folk her.
Og de kom til døren.
Jeg svarte på det.
Og de stakk liksom foten inn døra og sa: 'Send Robert ut.'
Og jeg sa: 'Han er ikke her.'
Og de sa: 'Vi så ham akkurat komme ut av den varebilen.'
Og jeg sa: 'Det var moren min. Han er ikke her.'
Jennifer Strong: Det er klart at noe er veldig galt, men de vet ikke hva det er.
Robert Williams: Det må være en feil identitet eller noe. Jeg vet ikke hvorfor Detroit Police er hjemme hos meg.
Jennifer Strong: Det viste seg at de var der fordi programvare for ansiktsgjenkjenning feilaktig hadde matchet førerkortbildet hans til sikkerhetskameraopptak av en person som stjeler klokker.
Robert Williams: Jeg trekker inn oppkjørselen her, trekker opp på min vanlige plass, hopper ut. Da jeg lukket døren, står bilen i oppkjørselen og blokkerer meg inn. Og de parkerte på denne måten, over oppkjørselen min som om jeg skulle rygge ut eller noe og prøve å ta av.
Melissa Williams: Så snart han lukket døren, var de rett på ham.
Og jeg var her fortsatt fordi jeg hadde jentene, og de begynte allerede å legge han i håndjern da vi kom ut.
Jennifer Strong: Han ba datteren sin gå inn igjen, at politiet gjorde en feil, og han ville være tilbake med en gang. Men han var ikke rett tilbake.
Politiet tok ham i arrest, og han tilbrakte natten i fengsel. Han hadde fortsatt ingen anelse om hva som foregikk. Og han var sint.
Men han sier at han som svart mann måtte vurdere hva som kunne skje hvis han lot det vise seg. Så han holdt seg rolig – og han ventet.
Neste morgen viste betjentene ham noen bilder av en mann som stjal klokker. Bortsett fra at bildene ikke var av ham. De var noen andre.
Robert Williams: 'Så det er ikke deg?'
Jeg så. Jeg sa: 'Nei, det er ikke meg.'
Han snur et annet papir. Han sier: 'Jeg antar at dette ikke er deg heller?
Jeg tok det papiret og holdt det ved siden av ansiktet mitt. Og jeg sa: 'Dette er ikke meg.'
Jeg tenkte: 'Jeg håper ikke dere synes alle svarte ser like ut.'
Og så sier han: 'Datamaskinen sier at det er deg.'
Hvis han bare hadde tatt med seg bildet, kunne han ha sett det opp og ned, og han kunne ha gått og sagt, herregud. Jeg mente ikke å plage deg.
Jennifer Strong : Det som er uvanlig med denne historien er ikke at ansikts-ID ble brukt for å finne en mistenkt. Det som er uvanlig er at Robert Williams ble fortalt, fordi politiet ikke er pålagt å avsløre det. Ansiktsgjenkjenning er ikke regulert. Ikke hvordan det brukes av rettshåndhevelse. Ikke hvordan det brukes av arbeidsgivere.
Jeg er Jennifer Strong. Og dette er episode én av en ny serie som utforsker hva som skjer når alt rundt oss blir automatisert. Vi sparker i gang med en firedelt titt på ansiktsgjenkjenning og politiarbeid. Vi vil møte folk som bygger denne teknologien, kjemper mot den og prøver å regulere hvordan den blir brukt.
Jennifer Strong: Tenk på det på denne måten. Ansiktsgjenkjenning blir brukt som søkemotor for kriminelle. Og ansiktet ditt er søkeordet.
Innen 2016 ble ansiktene til halvparten av alle amerikanske voksne antatt å være lagret i systemer som politiet bruker for å navngi mistenkte. Noen omtaler det som den evigvarende oppstillingen. Men nasjonen kan være på et vendepunkt, både i forholdet til politiarbeid og med denne teknologien. I juni tok teknologigigantene Amazon og Microsoft en pause med å selge ansikts-ID-produktene sine til politiet. IBM sluttet å selge det helt. Deretter vedtok New York City et lovforslag som ga tilsyn med all overvåkingsteknologi, til tross for motstand fra NYPD. Og etter at den urettmessige arrestasjonen av Robert Williams ble kjent, sier Detroit-politiet at de kun vil bruke ansikts-ID for å etterforske voldelige forbrytelser. Og de vil gjøre det med stillbilder fordi det er mer sannsynlig at de gir en nøyaktig match. Men er det nok?
Peter Fussey: OK, så for øyeblikket er vi i Øst-London, på et sted som heter Stratford.
Jennifer Strong: Jeg tok en tur med Peter Fussey i februar før pandemien.
Peter Fussey: Som historisk sett har vært et område med mye deprivasjon, som hadde fryktelig mange investeringer rett før OL i 2012, som ble arrangert her.
Jennifer Strong: Det er et sted hvor London-politiet tester kameraer som matcher ansikter med identiteter i sanntid. Du er en del av et team som jobber med en nasjonal overvåkingsstrategi. Er det riktig?
Peter Fussey: Så vi er en del av et forskningsprosjekt. Vi ser på fremvoksende teknologi og menneskerettighetsimplikasjonene atskilt fra det. Jeg jobber også med regulatoren for overvåkingskamera i Storbritannia, og jeg leder en del av strategien hans for menneskerettigheter.
Jennifer Strong: Han studerte teknologisk overvåking i mer enn 20 år.
Peter Fussey : Jeg begynte å se på lukket krets-TV, CCTV-kameraer. De er veldig kjente på gaten, CCTV. Jeg ble alltid overrasket over hvor lite folk virker bekymret for det. Jeg vil, vet du, komme med et merkelig argument for hvorfor vi burde regulere. Og det ble i stor grad møtt med likegyldighet. Og ansiktsgjenkjenning virker veldig annerledes. Det har fanget publikums fantasi. Det er i media på daglig basis.
Nyhetsoppleser: Vel, ansiktet ditt kan fortelle folk mye mer enn du kanskje tror. I en ny verden av ansiktsgjenkjenningsteknologi kan hver eneste bevegelse spores.
Nyhetsoppleser: Disse kjøperne vet det ikke, men en datamaskin skanner ansiktene deres og sammenligner funksjonene deres med kjente butikktyvere.
Mann intervjuet: Det er forferdelig. Det er en invasjon av privatlivet.
Kvinne intervjuet: Denne teknologien blir installert med null offentlig tilsyn og ansvarlighet.
Andre kvinne intervjuet: Vi blir mobbet til å ta bildet vårt for å få nøklene våre.
Nyhetsoppleser: Til og med popstjernen Taylor Swift brukte teknologien i hemmelighet for å utrydde stalkere.
Jennifer Strong: Men mens det offentlige skriket har ført til at noen steder har forbudt teknologien, inkludert teknologiknutebyer som San Francisco og Cambridge, Massachusetts, hvor MIT er basert, testet Londons politi en svært aggressiv versjon av den i 10 forskjellige offentlige rom.
Peter Fussey: Det du ser i Storbritannia er direkte ansiktsgjenkjenning, som betyr at det er en database med personer politiet er interessert i. Så, mens publikum går forbi kameraet, blir hver av disse personene skannet og deretter matchet mot den databasen. Her iverksetter du overvåking før, du vet, enhver lovbrudd.
Jennifer Strong: Det er én ting for en politiavdeling å holde opp et bilde av noen for å prøve å identifisere dem i et system. Og det er noe helt annet å ha live identifikasjon som skjer i sanntid.
Peter Fussey: Ja, det er helt riktig. Og jeg tror det er en veldig viktig del av debatten som ofte blir borte.
Den andre forskjellen er de eksisterende CCTV-kameraene, eller lavteknologisk, analog menneskelig overvåking, som ikke involverer fangst, prosessering og vedlikehold og administrasjon av biometriske data, som er en spesiell kategori av data, og er universelt sett på som en påtrengende øve på.
Jennifer Strong: Og den spesielle kategorien data må sorteres og lagres trygt. Og som han påpeker, kan ingen mennesker behandle volumet som blir fanget opp av disse systemene.
Peter Fussey: Det reiser noen alvorlige spørsmål om hvor forholdsmessig det er, for eksempel. Hvor nødvendig det er å biometrisk skanne titusenvis av mennesker bare fordi du er interessert i å snakke med noen. Nå, hvis det er en kjent drapsmann på frifot, eller eksemplet som alltid er gitt på, du vet, et terrorangrep som skal skje, så er det annerledes. Du kan komme med et mye sterkere nødvendighets- og proporsjonalitetsargument rundt det, men mindre hvis det bare er noen du er interessert i å snakke med om en hendelse med antisosial oppførsel eller noe sånt.
Jennifer Strong: Vel, det andre spørsmålet, når du sier at mennesker ikke kan behandle den informasjonen, men det er også uklart om teknologien kan det heller. Hva skjer hvis du blir feilaktig identifisert?
Peter Fussey: Hvis kameraet sier at du er mistenkt, du er noen på overvåkningslisten deres, hvor mange ganger vet vi at det er riktig? I vår forskning fant vi at det var riktig åtte ganger av 42. Så på seks hele dager, åtte ganger i politibiler.
Jennifer Strong: Han gjorde den eneste uavhengige gjennomgangen av disse forsøkene, og han fant ut at den var nøyaktig mindre enn 20 % av gangene.
Peter Fussey: Det kan fungere glimrende under laboratorieforhold. Men, du vet, utenfor, som et miljø vi er i nå, blekner lyset, det er vinterlys. Mye av etterretningsbildet for mange av lovbruddene er knyttet til natteøkonomien. Så ansiktsgjenkjenning fungerer dårligere i dårlig lys, og alle slags problemer rundt det.
Jennifer Strong: Det er også mindre effektivt på tvers av ulike demografier.
Peter Fussey: Så ikke bare etnisitet eller raseetnisitet, men også kjønn. Og det folder seg da inn i en hel sak rundt transpersoners rettigheter og alder også. Barnas ansikter gir for eksempel mindre informasjon enn et ansikt til noen i 40-årene som meg selv. Hvorfor det er viktig er at hvis politiet bruker en teknologi som ikke er like effektiv for forskjellige grupper, så, med mindre de er klar over disse begrensningene, og med mindre de på en eller annen måte kan dempe mot dem, så er det umulig å si at de bruker en teknologi som er forenlig med menneskerettigheter.
Jennifer Strong: Hvordan samkjører du en menneskerettighets- og en overvåkingsstrategi?
Peter Fussey: Vi tenker ofte på ting som sikkerhet som opposisjonell mot menneskerettighetene.
Det som selvfølgelig er statenes første ansvar under FNs menneskerettighetserklæring, er at statene sørger for sikkerheten og sikkerheten til sine borgere. Så, det er ofte denne innrammingen av frihet versus sikkerhet, som jeg og mine kolleger ville synes er ganske lite nyttig. Du vet, du kan ha begge deler, og du kan ha ingen av delene.
Jennifer Strong: Vi tar oss til et annet sted han vil vise meg.
Peter Fussey: Rett ved enden av denne broen kan du se en stolpe med noen kameraer på. Hvis du gikk langs denne broen mot disse kameraene, ville du komme til et punkt der det var et skilt som sa at ansiktsgjenkjenning var i drift. Nå, hvis du ville fortsette reisen, måtte du gå forbi disse kameraene. Politiet sa imidlertid at dette var en rettssak. Så hvis du ikke ville være med på den rettssaken, måtte du snu. Og for å komme til samme punkt utover disse kameraene ville det ta omtrent en 20 minutters omvei.
Jennifer Strong: OK, så denne delen er veldig viktig.
Peter Fussey: Her er det ikke noe egentlig meningsfullt samtykke. Hvis du trekker tilbake samtykket fordi du ikke vil være med i kameraet, bør du kunne trekke tilbake samtykket uten straff. Ellers er det ikke samtykke.
Jennifer Strong: Noe annet. Når du går nedover gaten, er du klar over gangene du krysser fra et offentlig fortau til betong som eies av en bedrift? Visste du at rettighetene dine til personvern kan være annerledes med bare noen få trinn?
Peter Fussey: Så her, der vi står, utenfor Westfield kjøpesenter, er privat plass. Men vi føler det er offentlig. Det er mye folk rundt her. Den har følelsen av et offentlig rom. Det som derimot skjer er at hvis du går 30 meter til venstre for oss, er du i et offentlig område, og alle kameraene eies av offentlige myndigheter. Og hvis du går 30 meter til høyre for oss, er de eid av private selskaper.
Jennifer Strong: Hva med den over hodet ditt?
Peter Fussey: Hvilken? Den der? Så ja, dette eies av et privat selskap.
Jennifer Strong: Forskjellen kommer tilbake til et enkelt poeng. Offentlige grupper er ansvarlige overfor offentligheten.
Face ID fungerer ved å kartlegge det unike settet med mål mellom funksjonene dine, som avstanden mellom øynene, lengden på nesen og krumningen av leppene dine. De tidligste systemene ble oppfunnet på 1960-tallet. Men i flere tiår var teknologien egentlig ikke nyttig. Så, på begynnelsen av 2000-tallet, opprettet lokal rettshåndhevelse i Florida et statlig ansiktsgjenkjenningsprogram. Et tiår etter det oppfant Facebook en ny måte å begynne å gjenkjenne og automerke folk på bilder, og raskt forbedre ansiktsgjenkjenningen til det vi har i dag. Nå er det mye brukt på flyplasser og av politiet, men det er lite åpenhet om hvilke systemer som brukes eller hvordan.
Hamid Khan: Algoritmer har ingen plass i politiarbeid. Jeg tror det er avgjørende at vi forstår det fordi det er liv som står på spill.
Jennifer Strong: Hamid Khan er en aktivist som kjemper mot bruken av overvåking og mange andre teknologiske verktøy som brukes av politiet i Los Angeles.
Hamid Khan: Hver gang overvåking blir legitimert, er den åpen for å utvides over tid, og har historisk blitt brukt til å spore og spore og overvåke og forfølge bestemte samfunn,
Fellesskap som er fattige, samfunn som er svarte og brune, samfunn som vil bli ansett som mistenkte, skeive, transkropper. Det er en prosess med sosial kontroll.
Jennifer Strong: Khan opprettet Stop LAPD Spying Coalition, en gruppe han beskriver som voldsomt avskaffende.
Han tror ikke det vil fungere å begrense måten politiet bruker ansikts-ID på. Og så, under det som best kan beskrives som en tsunami av adopsjon, med debatt mest fokusert på beste praksis, er hans fokus på å få disse teknologiene forbudt. Og det har vært vellykket. Flere datapoliti- og prediktive politiprogrammer i Los Angeles ble avsluttet etter offentlig og juridisk press fra gruppen hans. For Khan, noe av hvordan vi kom til dette øyeblikket er ved å endre måten vi definerer og politi på mistenkelig aktivitet på.
Hamid Khan: Definisjonen er at det er observert oppførsel som er en rimelig indikasjon på preoperativ planlegging av kriminell og/eller terroraktivitet. Så, du observerer noens oppførsel, ikke et faktum, men en bekymring for at en person kan tenke på å gjøre noe galt, ikke sant? Så, dette går nå inn i det, spekulativt og anelsebasert politiarbeid er reelt.
Jennifer Strong: Det vi vet, takket være akademisk og statlig forskning, er at ansiktsgjenkjenning fungerer best på hvite menn.
Joy Buolamwini : Hei kamera. Jeg har et ansikt. Kan du se ansiktet mitt? Ingen briller? Du kan se...
Jennifer Strong: Det er MIT-forsker, Joy Buolamwini, som holder en TED-tale.
Joy Buolamwini: Så hva skjer? Hvorfor blir ikke ansiktet mitt oppdaget? Vel, vi må se på hvordan vi gir maskiner syn. Så hvordan dette fungerer er at du lager et treningssett med eksempler på ansikter. Dette er et ansikt, dette er et ansikt, dette er ikke et ansikt. Og over tid kan du lære en datamaskin å gjenkjenne andre ansikter.
Jennifer Strong: Men hvis treningssettene egentlig ikke er så forskjellige, vil ethvert ansikt som avviker for mye fra den etablerte normen være vanskeligere å oppdage, noe som skjedde med meg.
I 2018 ledet hun en banebrytende studie som viste at kommersielle ansiktsgjenkjenningssystemer gjentatte ganger mislyktes i å klassifisere mørkhudede kvinner.
Et år senere fant en stor rapport om ansikts-ID fra et føderalt byrå kalt NIST, eller National Institute of Standards and Technology, at noen ansikts-ID-algoritmer var opptil hundre ganger større sannsynlighet for å feilaktig samsvare med bilder av fargede personer. Men selv om disse systemene kan konstrueres for å oppnå perfekt nøyaktighet, kan de brukes på farlige måter. Og disse problemene går dypere enn bare skjeve data og ufullkommen matematikk.
Hamid Khan: Teknologien fungerer ikke av seg selv. Fra design, til produksjon, til distribusjon, er det konstant innebygd skjevhet. Og det er ikke bare skjevhetene til folket selv. Det er bare en del av det. Det er den iboende skjevheten i systemet.
Jennifer Strong: Neste episode, ville det være overraskende at bilder av deg, inkludert noen du kanskje aldri har sett, brukes av selskaper til å bygge ansiktsgjenkjenningssystemer?
Hoan Ton-That: På Twitter, husker du dette bildet i det hele tatt?
Jennifer Strong: Nei. Jeg visste ikke at det ble tatt, og jeg så veldig...
Hoan Ton-That: Du gjør. Du så veldig seriøs ut i den.
Jennifer Strong: I del to møter vi grunnleggeren av et av de mest kontroversielle selskapene som jobber i dette området, Clearview AIs administrerende direktør, Hoan Ton-That.
Hoan Ton-That: Da vi bygde ansiktsgjenkjenningsteknologien vår, utforsket vi mange forskjellige ideer i mange forskjellige sektorer, fra privat sikkerhet til gjestfrihet. Da vi ga det til noen personer i rettshåndhevelsen, var økningen enorm. Og de ringte oss tilbake dagen etter og sa at vi løser saker. Dette er sprøtt. På en ukes tid hadde vi et skikkelig tykt hefte.
Jennifer Strong: Denne episoden ble rapportert og produsert av meg, Tate Ryan-Mosley og Emma Cillekens. Vi hadde hjelp fra Karen Hao og Benji Rosen. Vi er redigert av Michael Riley og Gideon Lichfield. Vår tekniske direktør er Jacob Gorski. Spesiell takk til Kyle Thomas Hemingway, Eric Mongeon og til ACLU for å dele opptakene deres av Robert Williams.
Jennifer Strong: Takk for at du lyttet. Jeg er Jennifer Strong.