211service.com
Kan du gjøre AI mer rettferdig enn en dommer? Spill vårt rettssalalgoritmespill
Selman Design
Som barn utvikler du en følelse av hva rettferdighet betyr. Det er et konsept som du lærer tidlig når du kommer til enighet med verden rundt deg. Enten føles noe rettferdig eller så gjør det det ikke.
Men i økende grad har algoritmer begynt å avgjøre rettferdighet for oss. De bestemmer hvem som ser boligannonser, hvem som blir ansatt eller sparket, og til og med hvem som blir sendt i fengsel. Følgelig blir menneskene som lager dem – programvareingeniører – bedt om å artikulere hva det betyr å være rettferdig i koden deres. Dette er grunnen til at regulatorer over hele verden nå sliter med et spørsmål: Hvordan kan du matematisk kvantifisere rettferdighet?
Denne historien prøver å gi et svar. Og for å gjøre det trenger vi din hjelp. Vi skal gå gjennom en ekte algoritme, en som brukes til å bestemme hvem som blir sendt i fengsel, og ber deg justere de forskjellige parameterne for å gjøre resultatene mer rettferdige. (Ikke bekymre deg - dette innebærer ikke å se på koden!)
Algoritmen vi undersøker er kjent som COMPAS, og det er et av flere forskjellige risikovurderingsverktøy som brukes i det amerikanske strafferettssystemet.
På et høyt nivå skal COMPAS hjelpe dommere med å avgjøre om en tiltalt skal holdes i fengsel eller slippes ut mens de venter på rettssak. Den trener på historiske tiltalte data for å finne sammenhenger mellom faktorer som noens alder og historie med det strafferettslige systemet, og hvorvidt personen ble arrestert på nytt eller ikke. Den bruker deretter korrelasjonene til å forutsi sannsynligheten for at en tiltalt vil bli arrestert for en ny forbrytelse i løpet av ventetiden for rettssaken.1
Fotnote
1. Arrestasjoner vs. domfellelser
Denne prosessen er svært ufullkommen. Verktøyene bruker arrestasjoner som en proxy for forbrytelser, men det er faktisk store uoverensstemmelser mellom de to fordi politiet har en historie med uforholdsmessig arrestasjon av raseminoriteter og manipulering av data. Gjentatte arrestasjoner blir dessuten ofte gjort for tekniske overtredelser, som for eksempel manglende oppmøte i retten, snarere enn for gjentatt kriminell aktivitet. I denne historien forenkler vi for å undersøke hva som ville skje hvis arrestasjoner tilsvarte faktiske forbrytelser.
Denne spådommen er kjent som tiltaltes risikoscore, og den er ment som en anbefaling: høyrisikotiltalte bør fengsles for å forhindre at de forårsaker potensiell skade på samfunnet; lavrisikotiltalte bør løslates før rettssaken. (I virkeligheten, dommere ikke alltid følge disse anbefalingene, men risikovurderingene forblir innflytelsesrike.)
Tilhengere av risikovurderingsverktøy hevder at de gjør det strafferettslige systemet mer rettferdig. De erstatter dommernes intuisjon og skjevhet – spesielt rasemessig skjevhet – med en tilsynelatende mer objektiv vurdering. Det kan de også erstatte praksisen med å stille kausjon i USA, som krever at tiltalte betaler en sum penger for løslatelsen. Kausjon diskriminerer fattige amerikanere og rammer uforholdsmessig svarte tiltalte, som er overrepresentert i det strafferettslige systemet.
Fotnote
2. ProPublicas metodikk
For tiltalte som ble fengslet før rettssaken, så ProPublica på om de ble arrestert på nytt innen to år etter løslatelsen. Den brukte deretter det for å anslå om de tiltalte ville blitt arrestert på nytt før rettssaken hadde de ikke blitt fengslet.
Som lovpålagt, inkluderer ikke COMPAS rase i beregningen av risikopoeng. I 2016 ble imidlertid en ProPublica etterforskning hevdet at verktøyet var fortsatt partisk mot svarte. ProPublica fant at blant tiltalte som aldri ble arrestert på nytt, var det dobbelt så sannsynlig at svarte tiltalte som hvite ble stemplet som høyrisiko av COMPAS.2
Så vår oppgave nå er å prøve å gjøre COMPAS bedre. Klar?
La oss starte med samme datasett som ProPublica brukte i sin analyse. Det inkluderer alle tiltalte som scores av COMPAS-algoritmen i Broward County, Florida, fra 2013 til 2014. Totalt er det over 7200 profiler med hver persons navn, alder, rase og COMPAS risikopoengsum, og merker om personen til slutt ble arrestert på nytt enten etter blir løslatt eller fengslet før rettssak.
For å gjøre dataene lettere å visualisere, har vi tilfeldig samplet 500 svarte og hvite tiltalte fra hele settet.
Vi har representert hver tiltalte som en prikk.
Husk: alle disse prikkene er personer som er anklaget (men ikke dømt) for en forbrytelse. Noen vil bli fengslet før rettssaken; andre vil bli løslatt umiddelbart. Noen vil fortsette å bli arrestert på nytt etter løslatelsen; andre vil ikke. Vi ønsker å sammenligne to ting: spådommene (hvilke tiltalte fikk høy kontra lav risikoscore) og utfallene i den virkelige verden (hvilke tiltalte faktisk ble arrestert på nytt etter å ha blitt løslatt).
COMPAS skårer tiltalte på en skala fra 1 til 10, der 1 tilsvarer omtrent 10 % sjanse for gjentatt arrestasjon, 2 til 20 %, og så videre.
La oss se på hvordan COMPAS scoret alle.
Fotnote
3. COMPAS sine score
COMPAS ble designet for å lage samlede spådommer om grupper av mennesker som deler lignende egenskaper, i stedet for spådommer om spesifikke individer. Metodikken bak skårene og anbefalingene for hvordan de skal brukes er mer komplisert enn vi hadde plass til å presentere; du kan lese om dem på lenken over.
Selv om COMPAS bare kan tilby en statistisk sannsynlighet for at en tiltalt vil bli arrestert på nytt før rettssaken, må dommere selvfølgelig ta en alt-eller-ingenting-avgjørelse: om de skal løslates eller arresteres. For formålet med denne historien skal vi bruke COMPAS sin høyrisikoterskel, en score på 7 eller høyere, for å representere en anbefaling om at en tiltalt skal varetektsfengsles.3
Herfra og ut er det du som har ansvaret. Oppdraget ditt er å redesigne den siste fasen av denne algoritmen ved å finne et mer rettferdig sted å sette høyrisikoterskelen.
Slik vil terskelen din se ut. Prøv å klikke på den og dra den rundt.
Så først, la oss forestille oss det beste scenariet: alle tiltalte algoritmemerker med høy risikoscore fortsetter å bli arrestert på nytt, og alle tiltalte som får lav risikoscore gjør det ikke. Nedenfor viser grafikken vår hvordan dette kan se ut. De utfylte sirklene er tiltalte som ble arrestert på nytt; de tomme sirklene er de som ikke var det.
Flytt nå terskelen for å gjøre algoritmen så rettferdig som mulig.
(Med andre ord, bare gjentatte tiltalte skal fengsles.)
Flott! Det var lett. Terskelen din bør settes mellom 6 og 7. Ingen ble unødvendig arrestert, og ingen som ble løslatt ble deretter arrestert på nytt.
Men selvfølgelig skjer dette ideelle scenariet aldri. Det er umulig å forutsi resultatet perfekt for hver person. Dette betyr at de fylte og tomme prikkene ikke kan skilles så pent.
Så her er hvem som faktisk blir arrestert på nytt.
Flytt nå terskelen igjen for å gjøre algoritmen så rettferdig som mulig.
(Tips: du vil maksimere nøyaktigheten.)
Du vil legge merke til at uansett hvor du plasserer terskelen, er den aldri perfekt: vi fengsler alltid noen tiltalte som ikke blir arrestert på nytt (tomme prikker til høyre for terskelen) og slipper noen tiltalte som blir arrestert på nytt (fylte prikker til til venstre for terskel). Dette er en avveining som vårt strafferettssystem alltid har håndtert, og det er ikke annerledes når vi bruker en algoritme.
For å gjøre disse avveiningene mer tydelige, la oss se prosentandelen av ukorrekte spådommer COMPAS kommer med hver side av terskelen, i stedet for bare å måle den totale nøyaktigheten. Nå vil vi eksplisitt kunne se om terskelen vår favoriserer unødvendig å holde folk i fengsel eller løslate folk som deretter blir arrestert på nytt.4 Legg merke til at COMPAS sin standardterskel favoriserer sistnevnte.
Fotnote
4. Tekniske definisjoner
Disse to feilprosentene er også kjent som den falske negative frekvensen (som vi har merket som frigitt, men arrestert på nytt) og falsk positiv frekvens (som vi har merket som unødvendig fengslet).
Hvordan skal vi balansere denne avveiningen? Det finnes ikke noe universelt svar, men på 1760-tallet skrev den engelske dommeren William Blackstone: Det er bedre at ti skyldige slipper unna enn at én uskyldig lider.
Blackstones forhold er fortsatt svært innflytelsesrik i USA i dag. Så la oss bruke det til inspirasjon.
Flytt terskelen til der prosentandelen frigitt, men arrestert på nytt, er omtrent 10 ganger prosentandelen som er unødvendig fengslet.
Du kan allerede se to problemer med å bruke en algoritme som COMPAS. Den første er at bedre prediksjon alltid kan bidra til å redusere feilraten over hele linjen, men det kan aldri eliminere dem helt. Uansett hvor mye data vi samler inn, kan to personer som ser like ut for algoritmen alltid ende opp med å ta forskjellige valg.
Det andre problemet er at selv om du følger COMPAS sine anbefalinger konsekvent, må noen – et menneske – først bestemme hvor høyrisikoterskelen skal ligge, enten ved å bruke Blackstones ratio eller noe annet. Det avhenger av alle slags hensyn – politiske, økonomiske og sosiale.
Nå kommer vi til et tredje problem. Det er her våre utforskninger av rettferdighet begynner å bli interessante. Hvordan sammenligner feilratene på tvers av ulike grupper? Er det visse typer mennesker som er mer sannsynlig å bli unødvendig internert?
La oss se hvordan dataene våre ser ut når vi vurderer de tiltaltes rase.
Flytt nå hver terskel for å se hvordan den påvirker svarte og hvite tiltalte forskjellig.
Rase er et eksempel på en beskyttet klasse i USA, noe som betyr at diskriminering på dette grunnlag er ulovlig. Andre beskyttede klasser inkluderer kjønn, alder og funksjonshemming.
Nå som vi har skilt svarte og hvite tiltalte, har vi oppdaget at selv om rase ikke brukes til å beregne COMPAS-risikoskårene, har poengene forskjellige feilrater for de to gruppene. Ved standard COMPAS-terskel mellom 7 og 8 har 16 % av svarte tiltalte som ikke blir arrestert på nytt blitt unødvendig fengslet, mens det samme gjelder for bare 7 % av de hvite tiltalte. Det virker ikke rettferdig i det hele tatt! Dette er akkurat hva ProPublica fremhevet i sin etterforskning.
Ok, så la oss fikse dette.
Flytt hver terskel slik at hvite og svarte tiltalte blir unødvendig fengslet i omtrent samme hastighet.
(Det finnes en rekke løsninger. Vi har valgt en, men du kan prøve å finne andre.)
Vi prøvde å nå Blackstones forhold igjen, så vi kom frem til følgende løsning: hvite tiltalte har en terskel mellom 6 og 7, mens svarte tiltalte har en terskel mellom 8 og 9. Nå har omtrent 9 % av både svarte og hvite tiltalte t blir arrestert på nytt blir unødvendig fengslet, mens 75 % av de som blir arrestert på nytt etter å ha tilbrakt ingen tid i fengsel. Godt jobba! Algoritmen din virker mye mer rettferdig enn COMPAS nå.
Men vent – er det det? I prosessen med å matche feilratene mellom løpene, mistet vi noe viktig: tersklene våre for hver gruppe er på forskjellige steder, så risikoskårene våre betyr forskjellige ting for hvite og svarte tiltalte.
Hvite tiltalte blir fengslet for en risikoscore på 7, men svarte tiltalte blir løslatt for samme poengsum. Dette virker nok en gang ikke rettferdig. To personer med samme risikoscore har samme sannsynlighet for å bli arrestert på nytt, så burde de ikke få samme behandling? I USA kan bruk av forskjellige terskler for forskjellige raser også føre til komplisert juridisk problemer med det 14. endringsforslaget, grunnlovens klausul om likeverd.
Så la oss prøve dette en gang til med en enkelt terskel som deles mellom begge gruppene.
Flytt terskelen igjen så hvite og svarte tiltalte blir unødvendig fengslet i samme takt.
Hvis du blir frustrert, er det god grunn. Det er ingen løsning.
Vi ga deg to definisjoner på rettferdighet: hold feilratene sammenlignbare mellom grupper, og behandle personer med samme risikoscore på samme måte. Begge disse definisjonene er fullstendig forsvarlige! Men å tilfredsstille begge samtidig er umulig.
Årsaken er at svarte og hvite tiltalte blir arrestert på nytt med ulik hastighet. Mens 52 % av de svarte tiltalte ble arrestert på nytt i våre Broward County-data, var det bare 39 % av de hvite tiltalte. Det er en lignende forskjell i mange jurisdiksjoner over hele USA, delvis på grunn av landets historie med politi uforholdsmessig rettet mot minoriteter (som vi tidligere har nevnt).
Forutsigelser gjenspeiler dataene som ble brukt til å lage dem – enten det er med algoritmer eller ikke. Hvis svarte tiltalte blir arrestert i en høyere rate enn hvite tiltalte i den virkelige verden, vil de også ha en høyere rate av antatt arrestasjon. Dette betyr at de også vil ha høyere risikoscore i gjennomsnitt, og en større prosentandel av dem vil bli merket med høyrisiko— både riktig og feil . Dette er sant uansett hvilken algoritme brukes, så lenge den er utformet slik at hver risikopoengsum betyr det samme uavhengig av rase.
Denne merkelige konflikten mellom rettferdighetsdefinisjoner er ikke bare begrenset til risikovurderingsalgoritmer i det strafferettslige systemet. De samme typene paradokser gjelder for kredittscoring, forsikring og ansettelsesalgoritmer. I enhver sammenheng der et automatisert beslutningssystem må allokere ressurser eller straff mellom flere grupper som har forskjellige utfall, vil uunngåelig forskjellige definisjoner av rettferdighet vise seg å være gjensidig utelukkende.
Det er ingen algoritme som kan fikse dette; dette er ikke engang en algoritmisk problem, egentlig. Menneskelige dommere er for tiden gjør de samme typene tvungne avveininger – og har gjort det gjennom historien.
Men her er hva en algoritme har endret. Selv om dommere kanskje ikke alltid er gjennomsiktige om hvordan de velger mellom ulike forestillinger om rettferdighet, kan folk bestride avgjørelsene deres. I motsetning til dette er COMPAS, som er laget av det private selskapet Northpointe, en forretningshemmelighet som ikke kan gjennomgås eller avhøres offentlig. Tiltalte kan ikke lenger stille spørsmål ved utfallet, og offentlige etater mister muligheten til å granske beslutningsprosessen. Det er ikke lenger offentlig ansvarlighet.
Så hva bør regulatorer gjøre? Den foreslåtte Algorithmic Accountability Act fra 2019 er et eksempel på en god start, sier Andrew Selbst, en jusprofessor ved University of California som spesialiserer seg på AI og jus. Lovforslaget, som søker å regulere skjevhet i automatiserte beslutningssystemer, har to bemerkelsesverdige funksjoner som fungerer som en mal for fremtidig lovgivning. For det første vil det kreve at selskaper reviderer maskinlæringssystemene deres for skjevhet og diskriminering i en konsekvensanalyse. For det andre spesifiserer den ikke en definisjon av rettferdighet.
Med en konsekvensutredning er du veldig transparent om hvordan du som selskap stiller deg til rettferdighetsspørsmålet, sier Selbst. Det bringer offentlig ansvarlighet tilbake inn i debatten. Fordi rettferdighet betyr forskjellige ting i forskjellige sammenhenger, legger han til, å unngå en spesifikk definisjon gir mulighet for den fleksibiliteten.
Men hvorvidt algoritmer skal brukes til å arbitrere rettferdighet i utgangspunktet er et komplisert spørsmål. Maskinlæringsalgoritmer er trent på data produsert gjennom historier om ekskludering og diskriminering, skriver Ruha Benjamin, en førsteamanuensis ved Princeton University, i sin bok Race After Technology . Risikovurderingsverktøy er ikke annerledes. Det større spørsmålet om å bruke dem – eller alle algoritmer som brukes til å rangere folk – er om de reduserer eksisterende ulikheter eller gjør dem verre.
Selbst anbefaler å gå frem med varsomhet: Hver gang du gjør filosofiske forestillinger om rettferdighet til matematiske uttrykk, mister de nyansen, fleksibiliteten, formbarheten, sier han. Det er ikke å si at noen av effektiviteten ved å gjøre det til slutt ikke vil være verdt det. Jeg har bare mine tvil.
Ord og kode av Karen Hao og Jonathan Stray. Designrådgivning fra Emily Luong og Emily Caulfield. Redigering av Niall Firth og Gideon Lichfield. En spesiell takk til Rashida Richardson fra AI nå, Mutale Nkonde fra Berkman Klein Center, og William Isaac fra DeepMind for deres gjennomgang og konsultasjon.
Korreksjon: En tidligere versjon av artikkelen koblet til informasjon om et annet risikovurderingsverktøy enn COMPAS. Den er fjernet for å unngå forvirring.