Politi over hele USA trener kriminalitetsforutsigende AI-er på forfalskede data

David McNew/Stab

I mai 2010, foranlediget av en rekke høyprofilerte skandaler, ba ordføreren i New Orleans det amerikanske justisdepartementet om å undersøke byens politiavdeling (NOPD). Ti måneder senere tilbød DOJ sitt blemmer analyse : I løpet av gjennomgangen fra 2005 og utover, hadde NOPD gjentatte ganger brutt konstitusjonell og føderal lov.

Den brukte overdreven makt, og uforholdsmessig mot svarte innbyggere; målrettet raseminoriteter, ikke-engelsktalende som morsmål og LHBTQ-individer; og unnlot å ta opp vold mot kvinner. Problemene, sa assisterende statsadvokat Thomas Perez på den tiden, var seriøse, omfattende, systemiske og dypt forankret i avdelingens kultur.

Til tross for de urovekkende funnene, gikk byen inn i en hemmelig partnerskap bare et år senere med datagruvefirmaet Palantir for å implementere et prediktivt politisystem. Systemet brukte historiske data, inkludert arrestasjonsprotokoller og elektroniske politirapporter, for å forutsi kriminalitet og bidra til å forme strategier for offentlig sikkerhet, ifølge selskap og bystyret materialer. Ikke på noe tidspunkt antydet disse materialene noe forsøk på å rense eller endre dataene for å adressere bruddene som ble avslørt av DOJ. Etter all sannsynlighet ble de korrupte dataene matet direkte inn i systemet, noe som forsterket avdelingens diskriminerende praksis.

Algoritmer for prediktiv politi er i ferd med å bli vanlig praksis i byer over hele USA. Selv om mangel på åpenhet gjør nøyaktig statistikk vanskelig å finne ut, er PredPol, en ledende leverandør, skryter at det bidrar til å beskytte 1 av 33 amerikanere. Programvaren blir ofte omtalt som en måte å hjelpe tynt strukket politiavdelinger med å ta mer effektive, datadrevne beslutninger.

Men ny forskning tyder på at det ikke bare er New Orleans som har trent disse systemene med skitne data. I en papir utgitt i dag, for å bli publisert i NYU Law Review, fant forskere ved AI Now Institute, et forskningssenter som studerer den sosiale virkningen av kunstig intelligens, at problemet var gjennomgående blant jurisdiksjonene de studerte. Dette har betydelige implikasjoner for effektiviteten av prediktivt politiarbeid og andre algoritmer som brukes i strafferettssystemet.

Systemet ditt er bare så godt som dataene du bruker til å trene det på, sier Kate Crawford, medgründer og meddirektør for AI Now og forfatter av studien. Hvis dataene i seg selv er feil, vil det føre til at flere politiressurser fokuseres på de samme overovervåket og ofte rasistisk målrettede miljøene. Så det du har gjort er faktisk en type tech-washing der folk som bruker disse systemene antar at de på en eller annen måte er mer nøytrale eller objektive, men faktisk har de inngrodd en form for grunnlovsstridighet eller ulovlighet.

Forskerne undersøkte 13 jurisdiksjoner, med fokus på de som har brukt prediktive politisystemer og har vært gjenstand for en etterforskning på oppdrag fra myndighetene. Sistnevnte krav sørget for at politipraksisen hadde rettslig etterprøvbar dokumentasjon. I ni av jurisdiksjonene fant de sterke bevis på at systemene hadde blitt trent på skitne data.

Problemet var ikke bare data skjev av uforholdsmessig målretting mot minoriteter, som i New Orleans. I noen tilfeller hadde politiavdelinger en kultur for bevisst å manipulere eller forfalske data under intenst politisk press for å få ned offisielle kriminalitetsrater. I New York, for eksempel, for å tømme kriminalitetsstatistikken kunstig, ba distriktssjefer regelmessig ofre på åstedene om ikke å sende inn klager. Noen politifolk plantet til og med narkotika på uskyldige mennesker for å oppfylle kvotene for arrestasjoner. I moderne prediktive politisystemer, som er avhengige av maskinlæring for å forutsi kriminalitet, blir disse korrupte datapunktene legitime prediktorer.

Oppgavens funn setter spørsmålstegn ved gyldigheten av prediktive politisystemer. Leverandører av slik programvare argumenterer ofte for at de partiske resultatene av verktøyene deres er enkle å fikse, sier Rashida Richardson, direktør for policy research ved AI Now og hovedforfatter på studien. Men i alle disse tilfellene er det en type systemisk problem som gjenspeiles i dataene, sier hun. Midlet vil derfor kreve mye mer enn å bare fjerne ett eller to tilfeller av dårlig oppførsel. Det er ikke så lett å skille ut gode data fra dårlige data eller gode politimenn fra dårlige politimenn, legger Jason Schultz, instituttets forskningsleder for lov og politikk, en annen forfatter av studien.

Leverandører hevder også at de unngår data som mer sannsynlig reflekterer skjevheter, for eksempel narkotikarelaterte arrestasjoner, og velger i stedet for opplæringsinnganger som 911-anrop. Men forskerne fant like mye skjevhet i de antatt mer nøytrale dataene. Videre fant de ut at leverandører aldri uavhengig reviderer dataene som er matet inn i systemene deres.

Relatert historie

Relatert historie Å bruke historiske data til å trene risikovurderingsverktøy kan bety at maskiner kopierer fortidens feil.

Artikkelen kaster lys over en annen debatt som raser i USA om bruken av kriminelle risikovurderingsverktøy, som også bruker maskinlæring for å avgjøre alt fra tiltaltes skjebne under rettssaken til straffenes alvorlighetsgrad. Dataene vi diskuterer i denne artikkelen er ikke bare isolert til politiarbeid, sier Richardson. Det brukes i hele strafferettssystemet.

For tiden har mye av debatten fokusert på selve systemets mekanikk - om det kan utformes for å gi matematisk rettferdige resultater. Men forskerne understreker at dette er feil spørsmål. Å skille ut algoritmespørsmålet fra det sosiale systemet det er koblet til og innebygd i kommer deg ikke veldig langt, sier Schultz. Vi må virkelig erkjenne grensene for den slags matematiske, beregningsbaserte forsøk på å adressere skjevhet.

Fremover håper forskerne at arbeidet deres vil bidra til å omforme debatten til å fokusere på det bredere systemet i stedet for selve verktøyet. De håper også at det vil få regjeringer til å opprette mekanismer, som f.eks algoritmisk rammeverk for konsekvensutredning instituttet utgitt i fjor, for å gi mer åpenhet, ansvarlighet og tilsyn med bruken av automatiserte beslutningsverktøy.

Hvis de sosiale og politiske mekanismene som genererer skitne data ikke reformeres, vil slike verktøy bare gjøre mer skade enn nytte, sier de. Når folk først anerkjenner det, vil kanskje debatten endelig skifte til måter vi kan bruke maskinlæring og andre teknologiske fremskritt for å faktisk stoppe grunnårsaken til [kriminalitet], sier Richardson. Kanskje vi kan løse fattigdom og arbeidsledighet og boligproblemer ved å bruke statlige data på en mer fordelaktig måte.

gjemme seg