Prediktiv politiarbeid er fortsatt rasistisk – uansett data det bruker

David McNew/Getty Images

Det er ingen hemmelighet at prediktive politiverktøy er det rasistisk partisk . En rekke studier har vist at rasistiske tilbakemeldingsløkker kan oppstå hvis algoritmer er det trent på politidata , for eksempel arrestasjoner. Men ny forskning viser at trening av prediktive verktøy på en måte ment å redusere skjevhet har liten effekt.

Arresteringsdata skjemmer prediktive verktøy fordi politiet er kjent for å arrestere flere mennesker i Black og andre minoritetsbydeler, noe som fører til at algoritmer dirigerer mer politiarbeid til disse områdene, noe som fører til flere arrestasjoner. Resultatet er at prediktive verktøy feilallokerer politipatruljer: noen nabolag er urettferdig utpekt som hot spots for kriminalitet, mens andre er underpolert.

Relatert historie

Algoritmer for prediktiv politi er rasistiske. De må demonteres. Mangel på åpenhet og partiske opplæringsdata betyr at disse verktøyene ikke er egnet til formålet. Hvis vi ikke kan fikse dem, bør vi droppe dem.

Til deres forsvar sier mange utviklere av prediktive politiverktøy at de har begynt å bruke offerrapporter for å få et mer nøyaktig bilde av kriminalitetsratene i ulike nabolag. I teorien bør offerrapporter være mindre partiske fordi de ikke er påvirket av politiets fordommer eller tilbakemeldingssløyfer.

Men Nil-Jana Akpinar og Alexandra Chouldechova ved Carnegie Mellon University og Maria De-Arteaga ved University of Texas i Austin viser at synet fra offerrapportene er også skjevt . Teamet bygde sin egen prediktive algoritme ved å bruke den samme modellen som finnes i flere populære verktøy, inkludert PredPol, det mest brukte systemet i USA. De trente modellen for offerrapportdata for Bogotá, Colombia, en av svært få byer der uavhengige kriminalitetsrapporteringsdata er tilgjengelige på distrikts-for-distriktsnivå.

Da de sammenlignet verktøyets spådommer med faktiske kriminalitetsdata for hvert distrikt, fant de ut at det gjorde betydelige feil. For eksempel, i et distrikt der få forbrytelser ble rapportert, spådde verktøyet rundt 20 % av de faktiske hot spots – steder med høy kriminalitet. På den annen side, i et distrikt med et høyt antall rapporter, spådde verktøyet 20 % flere hot spots enn det egentlig var.

For Rashida Richardson, en advokat og forsker som studerer algoritmisk skjevhet ved Rutgers Law School i New Jersey, forsterker disse resultatene eksisterende arbeid som fremhever problemer med datasett som brukes i prediktivt politiarbeid. De fører til partiske utfall som ikke forbedrer offentlig sikkerhet, sier hun. Jeg tror mange leverandører av prediktivt politi som PredPol fundamentalt sett ikke forstår hvordan strukturelle og sosiale forhold fordreier eller forvrider mange former for kriminalitetsdata.

Så hvorfor tok algoritmen det så feil? Problemet med offerrapporter er at svarte mennesker er mer sannsynlig å bli anmeldt for en forbrytelse enn hvite. Rikere hvite mennesker er mer sannsynlig å rapportere en fattigere svart person enn omvendt. Og svarte mennesker er også mer sannsynlig å rapportere andre svarte mennesker. Som med arrestasjonsdata, fører dette til at svarte nabolag oftere enn de burde bli flagget som hot spots for kriminalitet.

Andre faktorer forvrenger også bildet. Offerrapportering er også knyttet til samfunnets tillit eller mistillit til politiet, sier Richardson. Så hvis du er i et samfunn med en historisk korrupt eller notorisk rasistisk partisk politiavdeling, vil det påvirke hvordan og om folk rapporterer kriminalitet. I dette tilfellet kan et prediktivt verktøy undervurdere nivået av kriminalitet i et område, slik at det ikke får den politiarbeidet det trenger.

Ingen quick fix

Verre, det er fortsatt ingen åpenbar teknisk løsning. Akpinar og Chouldechova prøvde å justere Bogotá-modellen sin for å ta hensyn til skjevhetene de observerte, men hadde ikke nok data til å gjøre stor forskjell - til tross for at det var flere data på distriktsnivå for Bogotá enn for noen amerikansk by. Til syvende og sist er det uklart om det er enklere å dempe skjevheten i dette tilfellet enn tidligere forsøk som har fungert for å ødelegge arrestasjonsdatabaserte systemer, sier Akpinar.

Hva kan bli gjort? Richardson mener at offentlig press for å demontere rasistiske verktøy og politikken bak dem er det eneste svaret. Det er bare et spørsmål om politisk vilje, sier hun. Hun bemerker at tidlige brukere av prediktivt politiverktøy, som Santa Cruz, har kunngjort at de ikke lenger vil bruke dem, og at det har vært skjærende offisielle rapporter om bruken av prediktivt politiarbeid fra LAPD og Chicago PD. Men svarene i hver by var forskjellige, sier hun.

Chicago suspenderte bruken av prediktivt politiarbeid, men reinvesterte i en database for politigjenger, som Richardson sier har mange av de samme problemene.

Det er bekymringsfullt at selv når statlige undersøkelser og rapporter finner betydelige problemer med disse teknologiene, er det ikke nok for politikere og polititjenestemenn å si at det ikke skal brukes, sier hun.

gjemme seg