211service.com
Inspiserer algoritmer for skjevhet
Domstoler, banker og andre institusjoner bruker automatiserte dataanalysesystemer for å ta avgjørelser om livet ditt. La oss ikke overlate det til algoritmeprodusentene å avgjøre om de gjør det riktig. 12. juni 2017
Paul Delcan
Det var en slående historie. Machine Bias, overskriften lest, og teaseren proklamert : Det er programvare som brukes over hele landet for å forutsi fremtidige kriminelle. Og det er partisk mot svarte.
ProPublica, en Pulitzer-prisvinnende ideell nyhetsorganisasjon, hadde analysert risikovurderingsprogramvare kjent som COMPAS. Den brukes til å forutsi hvilke kriminelle som mest sannsynlig vil begå gjentatt lovbrudd. Guidet av slike prognoser tar dommere i rettssaler over hele USA avgjørelser om fremtiden til tiltalte og domfelte, og bestemmer alt fra kausjonsbeløp til dommer. Når ProPublica sammenlignet COMPAS sine risikovurderinger for mer enn 10 000 mennesker arrestert i ett fylke i Florida med hvor ofte disse personene faktisk fortsatte med å fornærme seg, oppdaget den at algoritmen korrekt spådde tilbakefall for svarte og hvite tiltalte med omtrent samme hastighet. Men når algoritmen var feil, var den feil på forskjellige måter for svarte og hvite. Nærmere bestemt er det nesten dobbelt så sannsynlig at svarte som hvite blir stemplet som en høyere risiko, men faktisk ikke fornærmer seg på nytt. Og COMPAS hadde en tendens til å gjøre den motsatte feilen med hvite: De er mye mer sannsynlig enn svarte for å bli stemplet med lavere risiko, men fortsetter å begå andre forbrytelser.
Ting gjennomgått
Maskinskjevhet
ProPublica, 23. mai 2016
COMPAS Risk Scales: Demonstrerer nøyaktighet og prediktiv paritet
Northpointe, 8. juli 2016
Teknisk svar til Northpointe
ProPublica, 29. juli 2016
Falske positiver, falske negativer og falske analyser: En replikk til 'Machine Bias'
Anthony Flores, Christopher Lowenkamp og Kristin Bechtel
10. august 2016
Denne historien var en del av vår utgave av juli 2017
- Se resten av saken
- Abonnere
Hvorvidt det er hensiktsmessig å bruke systemer som COMPAS er et spørsmål som går utover rasemessig skjevhet. Den amerikanske høyesterett kan snart ta opp saken til en straffedømt i Wisconsin som sier at hans rett til rettferdig prosess ble krenket da dommeren som dømte ham konsulterte COMPAS, fordi systemets virkemåte var ugjennomsiktig for tiltalte. Potensielle problemer med andre automatiserte beslutningssystemer (ADM) eksisterer også utenfor rettssystemet. På grunnlag av online personlighetstester er ADM-er med på å finne ut om noen er rett person for en jobb. Algoritmer for kredittscoring spiller en enorm rolle i om du får et boliglån, et kredittkort eller til og med de mest kostnadseffektive mobiltelefontilbudene.
Det er ikke nødvendigvis en dårlig idé å bruke risikovurderingssystemer som COMPAS. I mange tilfeller kan ADM-systemer øke rettferdigheten. Menneskelig beslutningstaking er til tider så usammenhengende at den trenger tilsyn for å bringe den i tråd med våre rettferdighetsstandarder. Som en spesielt foruroligende studie viste, var det prøveløslatelsesnemnder mer sannsynlig å frigjøre straffedømte hvis dommerne nettopp hadde hatt en spisepause. Dette hadde sannsynligvis aldri falt dommerne opp. Et ADM-system kan oppdage slike inkonsekvenser og forbedre prosessen.
Men ofte vet vi ikke nok om hvordan ADM-systemer fungerer til å vite om de er mer rettferdige enn mennesker ville vært alene. Delvis fordi systemene tar valg på grunnlag av underliggende forutsetninger som ikke er klare selv for systemenes designere, er det ikke nødvendigvis mulig å bestemme hvilke algoritmer som er partiske og hvilke som ikke er det. Og selv når svaret virker klart, som i ProPublicas funn på COMPAS, er sannheten noen ganger mer komplisert.
Lovgivere, domstolene og en informert offentlighet bør bestemme hva vi vil at algoritmer skal prioritere.
Hva bør vi gjøre for å få bedre grep om ADM-er? Demokratiske samfunn trenger mer tilsyn med slike systemer enn de har nå. AlgorithmWatch, en berlin-basert ideell organisasjon som jeg stiftet sammen med en informatiker, en rettsfilosof og en medjournalist, har som mål å hjelpe folk å forstå effekten av slike systemer. Det faktum at de fleste ADM-prosedyrer er svarte bokser for menneskene som er berørt av dem, er ikke en naturlov. Det må ta slutt, slår vi fast i vårt manifest . Likevel er vårt syn på problemet forskjellig fra mange kritikere – fordi vår frykt er at teknologien kan demoniseres ufortjent. Det som er viktig er at samfunn, og ikke bare algoritmeprodusenter, foretar verdivurderingene som går inn i ADMer.
Tiltak for rettferdighet
COMPAS bestemmer risikoskårene sine fra svar til en spørreskjema som utforsker en tiltaltes kriminelle historie og holdninger til kriminalitet. Gir dette partiske resultater?
Etter ProPublicas etterforskning bestred Northpointe, selskapet som utviklet COMPAS, historien og argumenterte for at journalistene feiltolket dataene. Det samme gjorde tre strafferettsforskere , inkludert en fra en justisreformorganisasjon. Hvem har rett – journalistene eller forskerne? Krishna Gummadi, leder av Networked Systems Research Group ved Max Planck Institute for Software Systems i Saarbrücken, Tyskland, tilbyr et overraskende svar: de er alle.
Gummadi, som har forsket mye på rettferdighet i algoritmer, sier at resultatene til ProPublica og Northpointe ikke motsier hverandre. De er forskjellige fordi de bruker forskjellige mål for rettferdighet.
Hvis de brukes riktig, gir strafferettslige algoritmer muligheten for en generasjon, og kanskje en levetid, til å reformere straffeutmålingen og avvikle massefengsling på en vitenskapelig måte.
Tenk deg at du utformer et system for å forutsi hvilke kriminelle som vil fornærme seg på nytt. Ett alternativ er å optimalisere for sanne positive ting, noe som betyr at du vil identifisere så mange mennesker som mulig som har høy risiko for å begå en ny forbrytelse. Et problem med denne tilnærmingen er at den har en tendens til å øke antallet falske positive: mennesker som urettmessig vil bli klassifisert som sannsynlige gjengangere. Skiven kan justeres for å levere så få falske positiver som mulig, men det har en tendens til å skape flere falske negativer: sannsynlige gjengangere som slipper gjennom og får en mildere behandling enn nødvendig.
Å øke forekomsten av sanne positive eller senke de falske positive er begge måter å forbedre et statistisk mål kjent som positiv prediktiv verdi, eller PPV. Det er prosentandelen av alle positive som er sanne.
Som Gummadi påpeker, sammenlignet ProPublica falske positive priser og falske negative priser for svarte og hvite og fant at de var skjevt til fordel for hvite. Northpointe sammenlignet derimot PPV-ene for forskjellige raser og fant ut at de var like. Delvis fordi tilbakefallsratene for svarte og hvite faktisk er forskjellige, er det matematisk sannsynlig at de positive prediktive verdiene for personer i hver gruppe vil være like, mens antallet falske negative ikke er det.
En ting dette forteller oss er at det bredere samfunnet – lovgivere, domstolene, en informert offentlighet – bør bestemme hva vi vil at slike algoritmer skal prioritere. Er vi først og fremst interessert i å ta så få sjanser som mulig for at noen vil hoppe over kausjon eller forbryte seg på nytt? Hvilke avveininger bør vi gjøre for å sikre rettferdighet og redusere de massive sosiale kostnadene ved fengsling?
Uansett hvilken måte urskivene settes på, vil enhver algoritme ha skjevheter - det er tross alt en prediksjon basert på generalisert statistikk, ikke på noens individuelle situasjon. Men vi kan fortsatt bruke slike systemer til å veilede beslutninger som er klokere og mer rettferdige enn de mennesker pleier å ta på egenhånd.
Kontroversen rundt New York Police Departments stop-and-frisk-praksis bidrar til å vise hvorfor. Mellom januar 2004 og juni 2012 gjennomførte politiet i New York City 4,4 millioner stopp under et program som tillot offiserer å midlertidig arrestere, avhøre og ransake folk på gaten etter våpen og annen smugleri. Men faktisk resulterte 88 prosent av de 4,4 millioner stoppene i ingen ytterligere handling – noe som betyr at et stort flertall av de som ble stoppet ikke gjorde noe galt, New York Times sa i en leder som fordømmer praksisen. Dessuten: I omtrent 83 prosent av tilfellene var personen som ble stoppet svart eller latinamerikansk, selv om de to gruppene utgjorde litt over halvparten av befolkningen. Dette eksemplet på menneskelig skjevhet, belyst gjennom dataanalyse, er en påminnelse om at ADM-systemer kan spille en positiv rolle i strafferettspleien. Riktig brukt gir de sjansen for en generasjon, og kanskje en levetid, til å reformere straffeutmålingen og avvikle massefengsling på en vitenskapelig måte, ifølge Anthony Flores, Christopher Lowenkamp og Kristin Bechtel, tre forskere som fant feil i metodikken som ProPublica brukes til å analysere COMPAS. Forfatterne bekymrer seg for at denne muligheten forsvinner på grunn av feilinformasjon og misforståelser om teknologien.
Men hvis vi aksepterer at algoritmer kan gjøre livet mer rettferdig hvis de er godt utformet, hvordan kan vi vite om de er utformet slik?
Demokratiske samfunn bør jobbe nå for å finne ut hvor mye åpenhet de forventer av ADM-systemer. Trenger vi nye regler for programvaren for å sikre at den kan inspiseres på riktig måte? Lovgivere, dommere og offentligheten bør ha en mening om hvilke mål for rettferdighet som blir prioritert av algoritmer. Men hvis algoritmene faktisk ikke reflekterer disse verdivurderingene, hvem vil da bli holdt ansvarlig?
Dette er de vanskelige spørsmålene vi må svare på hvis vi forventer å dra nytte av fremskritt innen algoritmisk teknologi.
Matthias Spielkamp er administrerende direktør i AlgorithmWatch, en fortalergruppe som analyserer risikoene og mulighetene ved automatiserte beslutninger.