211service.com
AI sender folk i fengsel – og tar feil
Ian Waldie/Getty Images
AI ser kanskje ikke ut til å ha en stor personlig innvirkning hvis den hyppigste børsten din med maskinlæringsalgoritmer er gjennom Facebooks nyhetsfeed eller Googles søkerangeringer. Men på Data for Black Lives konferanse sist helg, satte teknologer, juridiske eksperter og samfunnsaktivister ting i perspektiv med en diskusjon om USAs strafferettssystem. Der kan en algoritme bestemme banen for livet ditt.
USA fengsler flere mennesker enn noe annet land i verden. På slutten av 2016, nesten 2,2 millioner voksne ble holdt i fengsler eller fengsler, og ytterligere 4,5 millioner var i andre kriminalomsorger. Sagt på en annen måte, 1 av 38 voksne amerikanere var under en eller annen form for kriminalomsorg. Det marerittaktige i denne situasjonen er en av få saker som forener politikere på begge sider av midtgangen.
Under enormt press for å redusere antall fengsler uten å risikere en økning i kriminalitet, har rettssaler over hele USA vendt seg til automatiserte verktøy i forsøk på å blande tiltalte gjennom rettssystemet så effektivt og sikkert som mulig. Det er her AI-delen av historien vår begynner.
Politiavdelinger bruker prediktive algoritmer for å legge strategier for hvor de skal sende gradene. Rettshåndhevelsesbyråer bruker ansiktsgjenkjenningssystemer for å identifisere mistenkte. Disse praksisene har fått velfortjent gransking for om de faktisk forbedrer sikkerheten eller bare opprettholder eksisterende ulikheter. Forskere og borgerrettighetsforkjempere , for eksempel har gjentatte ganger vist at ansiktsgjenkjenningssystemer kan svikte spektakulært, spesielt for mørkhudede individer – til og med misforståelse av medlemmer av Kongressen for dømte kriminelle.
Men det desidert mest kontroversielle verktøyet kommer etter at politiet har foretatt en arrestasjon. Si hei til kriminelle risikovurderingsalgoritmer.
Risikovurderingsverktøy er utviklet for å gjøre én ting: ta inn detaljene i en tiltalts profil og spytte ut en tilbakefallspoeng – et enkelt tall som estimerer sannsynligheten for at han eller hun vil fornærme seg på nytt. En dommer tar deretter inn et utall av avgjørelser som kan avgjøre hvilken type rehabiliteringstjenester bestemte tiltalte skal motta, om de skal holdes i fengsel før rettssaken, og hvor strenge straffen deres skal være. En lav score baner vei for en snillere skjebne. En høy score gjør akkurat det motsatte.
Logikken for å bruke slike algoritmiske verktøy er at hvis du nøyaktig kan forutsi kriminell atferd, kan du allokere ressurser deretter, enten det gjelder rehabilitering eller fengselsstraff. I teorien reduserer det også enhver skjevhet som påvirker prosessen, fordi dommere tar avgjørelser på grunnlag av datadrevne anbefalinger og ikke deres mage.
Du har kanskje allerede oppdaget problemet. Moderne risikovurderingsverktøy er ofte drevet av algoritmer som er trent på historiske kriminalitetsdata.
Som vi har dekket tidligere, bruker maskinlæringsalgoritmer statistikk for å finne mønstre i data. Så hvis du mater den med historiske kriminalitetsdata, vil den plukke ut mønstrene knyttet til kriminalitet. Men disse mønstrene er statistiske korrelasjoner – ikke på langt nær det samme som årsakssammenhenger . Hvis en algoritme for eksempel fant ut at lav inntekt var korrelert med høy tilbakefall, ville det ikke gjort deg noe klokere på om lav inntekt faktisk forårsaket kriminalitet. Men dette er nettopp hva risikovurderingsverktøy gjør: de gjør korrelativ innsikt om til årsaksskåringsmekanismer.
Nå står befolkninger som historisk sett har vært uforholdsmessig målrettet av rettshåndhevelse – spesielt lavinntekts- og minoritetssamfunn – i fare for å bli slått med høye tilbakefallsscore. Som et resultat kan algoritmen forsterke og opprettholde innebygde skjevheter og generere enda mer skjevhetsbehandlede data for å mate en ond sirkel. Fordi de fleste risikovurderingsalgoritmer er proprietære, er det også umulig å avhøre avgjørelsene deres eller holde dem ansvarlige.
Debatten om disse verktøyene raser fortsatt. I juli i fjor, mer enn 100 sivile rettigheter og samfunnsbaserte organisasjoner, inkludert ACLU og NAACP, signert en uttalelse som oppfordrer mot bruk av risikovurdering. Samtidig har flere og flere jurisdiksjoner og stater, inkludert California, vendt seg til dem i et forsøk på å rette opp sine overbelastede fengsler og fengsler.
Datadrevet risikovurdering er en måte å rense og legitimere undertrykkende systemer på, sa Marbre Stahly-Butts, administrerende direktør for Law for Black Lives, på scenen på konferansen , som ble arrangert på MIT Media Lab. Det er en måte å trekke oppmerksomheten bort fra de faktiske problemene som påvirker lavinntekts- og minoritetssamfunn, som skoler som har mistet pengene og utilstrekkelig tilgang til helsetjenester.
Vi er ikke risikoer, sa hun. Vi er behov.
Denne historien dukket opprinnelig opp i vårt AI-nyhetsbrev The Algorithm. For å få den levert direkte til innboksen din, abonner her gratis.