211service.com
Hemmelige algoritmer truer rettsstaten
Å forutsi og forme hva du vil gjøre neste gang – enten du er shopper, arbeider eller velger – er en stor bedrift for datadrevne firmaer. Men bør deres metoder også informere dommere og påtalemyndigheter? Et ambisiøst program for å forutsi tilbakefall blant straffedømte bringer algoritmiske risikovurderinger til amerikanske tinghus.
Disse vurderingene er en forlengelse av en trend mot aktuarielle prediksjonsinstrumenter for tilbakefallsrisiko. De kan virke vitenskapelige, en injeksjon av beregningsrasjonalitet i et strafferettssystem fulle av diskriminering og ineffektivitet. Imidlertid er de urovekkende av flere grunner: mange er i hemmelighet beregnet; de nekter rettferdig saksbehandling og forståelige forklaringer til tiltalte; og de fremmer en krabbet og umenneskelig visjon om straffens rolle i samfunnet.
La oss starte med hemmelighold – en faktor som tilsynelatende har skremt til og med Høyesterett i saken om firmaet Northpointes COMPAS-risikoscore. I Loomis mot Wisconsin , avviste en dommer en ankeavtale og dømte en tiltalt (Loomis) til en strengere straff delvis fordi en COMPAS-risikoscore anså ham for å ha høyere risiko enn gjennomsnittet for å bli gjentatt. Loomis anket dommen og hevdet at verken han eller dommeren kunne undersøke formelen for risikovurderingen – det var en forretningshemmelighet.
Frank Pasquale
Staten Wisconsin motarbeidet at Northpointe krevde at den skulle holde algoritmene konfidensielle, for å beskytte firmaets åndsverk. Og Wisconsin Supreme Court opprettholdt Loomis sin dom og begrunnet at risikovurderingen bare var en del av begrunnelsen for dommen. Den ønsket å fortsette å gi dommerne muligheten til å ta hensyn til COMPAS-poengsummen som en del av straffeutmålingen, selv om de ikke hadde noen anelse om hvordan den ble beregnet.
Advokater , akademikere og aktivister stiller nå spørsmål ved det resonnementet. Rettslige prosesser er i det store og hele åpne for allmennheten. Dommerne må begrunne sine viktigste handlinger, som for eksempel straffutmåling. Når en algoritmisk scoringsprosess holdes hemmelig, er det det umulig å utfordre nøkkelaspekter ved det. Hvordan vekter algoritmen ulike datapunkter, og hvorfor? Hver av disse henvendelsene er avgjørende for to kjernerettslige prinsipper: rettferdig prosess og evnen til meningsfullt å anke en negativ avgjørelse.
Rettferdig prosess er et åpent konsept, men avgjørende for legitime rettssystemer. Dette grunnleggende konstitusjonelle prinsippet gir tiltalte rett til å forstå hva de er siktet for, og hva bevisene mot dem er. En hemmelig risikovurderingsalgoritme som gir en fordømmende poengsum er analog med bevis som tilbys av en anonym ekspert , som man ikke kan kryssforhøre. Enhver domstol som er klar over grunnleggende rettsstatsprinsipper, så vel som prinsipper for femte og fjortende endring for varsel og forklaring av avgjørelser, vil være svært forsiktig med å tillate en stat å basere setninger (selv om bare delvis) på en hemmelig algoritme.
To former for automatiseringsskjevhet truer også retten til en meningsfull appell. Det er altfor sannsynlig at dommere antar at kvantitative metoder er overlegne i forhold til vanlige verbale resonnementer, og reduserer oppgaven (straffutmålingen) til en anvendelse av de kvantitative dataene som er tilgjengelige om tilbakefallsrisiko. Begge svarene undergraver kompleksiteten og den humane dømmekraften som er nødvendig for straffutmåling.
Enda verre, når selskaper tilbyr kommersielle begrunnelser for å holde den hemmelige sausen sin ute av offentligheten, har domstolene vært ivrige etter å beskytte forretningshemmelighetene til scoringsfirmaer. Den tendensen er urovekkende i privat sektor , siden kommersielle skader kan begås ustraffet takket være ugjennomsiktigheten til rangerings- og rangeringssystemer. Selv i sammenheng med stemmegivning , har myndighetene vært trege med å kreve programvare som er kontrollerbar og forståelig av utenforstående . Likevel burde saken om straffeutmåling være en bro for langt for samvittighetsfulle dommere - og det forklarer sannsynligvis den amerikanske høyesteretts renter i Loomis. Å sende noen i fengsel takket være de uforklarlige, uimotståelige dommene til et hemmelig dataprogram er for Svart speil for selv hardbarkede forsvarere av bedriftsprivilegier.
Dessuten er det alternativer mellom fullstendig algoritmisk hemmelighold og fullstendig offentliggjøring. Som jeg forklart i 2010 er kvalifisert åpenhet en veletablert metode for å gjøre det mulig for visse eksperter å vurdere beskyttede forretningshemmeligheter (inkludert bedrifters kode og data) for å teste et systems kvalitet, gyldighet og pålitelighet. Tenk på en spesiell mester i en rettssak, eller Secure Compartmented Information Facilities for etterretningsbyråer. På et minimum bør ikke myndigheter bruke algoritmer som COMPAS-poengsummen uten en form for ekstern kvalitetssikring muliggjort av kvalifisert åpenhet.
Men hemmelighold er ikke det eneste problemet her. Anta at algoritmisk risikovurdering etter hvert blir mer offentlig, med fullstendig transparente formler og data. Det er fortsatt alvorlige bekymringer rundt bruken av bevisbasert straffutmåling, ettersom kvantitativ prediktiv analyse ofte markedsføres i strafferettslige sammenhenger.
Det har for eksempel rettsviter Sonja Starr argumenterte at det som virkelig er kritisk i straffeutmålingssammenhengen ikke bare er tilbakefall i seg selv, men forskjellen en lengre fengselsstraff vil utgjøre for sannsynligheten for at en domfelt vil begå gjentakelse. Algoritmisk risikovurdering kan etter hvert bli veldig god til å forutsi gjentatt lovbrudd, men hva med en risikovurdering av selve risikovurderingen – det vil si faren for at en lengre straff for en høyrisikoforbryter kan bli en selvoppfyllende profeti, gitt det kriminogene miljøet til mange fengsler?
Det er også verdi i narrativ forståelighet i rangeringen og vurderingen av mennesker. Bedrifter er markedsanalyse for å forutsi ikke bare sannsynligheten for kriminell tilbakefall, men også sjansene for at en gitt person vil bli mentalt syk , en dårlig ansatt , til sviktende student , til forbryter , eller en terrorist . Selv om vi kan sette til side bekymringene for selvoppfyllende profetier som er tatt opp ovenfor, bør disse vurderingene bare brukes med største forsiktighet. En gang brukt til å gi råd til politi, DHS, lærere eller sjefer, er de ikke bare meninger som sirkulerer i en fri flyt av ideer. Snarere kan de ha direkte innvirkning på personers levebrød, frihet og utdanning. Hvis de ikke kan forklares på en narrativt forståelig måte, bør de kanskje ikke brukes i det hele tatt uten direkte samtykke fra personen de vurderer.
Denne oppfatningen passer kanskje ikke bra med de som ser på kunstig intelligens som neste skritt i menneskets evolusjon. Robotiker Hod Lipson minneverdig sammenlignet forsøk på å gjøre avansert algoritmisk informasjonsbehandling forståelig for mennesker for å forklare Shakespeare for en hund. Men denne ladede metaforen skjuler mer enn den avslører. I det minste for nå er det mennesker som har ansvaret for regjeringer, og kan kreve forklaringer på beslutninger på naturlig språk, ikke datakode. Å unnlate å gjøre det i den kriminelle sammenhengen risikerer å avstå iboende statlige og juridiske funksjoner til en uansvarlig beregningselite.
Frank Pasquale er professor i jus ved University of Maryland, og forfatter av The Black Box Society .