Åtte casestudier om regulering av biometrisk teknologi viser oss en vei fremover

Amba Kak med tillatelse fra AI Now

Amba Kak gikk på jusstudiet i India da landet rullet ut Aadhaar-prosjektet i 2009. Det nasjonale biometriske ID-systemet, tenkt som et omfattende identitetsprogram, forsøkte å samle inn fingeravtrykk, irisskanning og fotografier av alle innbyggere. Det tok ikke lang tid, husker Kak, før historiene om de ødeleggende konsekvensene begynte å spre seg. Vi hørte plutselig rapporter om hvordan manuelle arbeidere som jobber med hendene deres – hvordan fingeravtrykkene deres sviktet systemet, og de ble nektet tilgang til grunnleggende nødvendigheter, sier hun. Det hadde vi faktisk sultdødsfall i India som ble knyttet til barrierene som disse biometriske ID-systemene skapte. Så det var en veldig viktig sak.

Disse tilfellene provoserte henne til å undersøke biometriske systemer og hvordan loven kunne holde dem ansvarlige. 2. september ga Kak, som nå er direktør for global strategi og programmer ved det New York-baserte AI Now Institute, ut en ny rapport detaljer om åtte casestudier av hvordan biometriske systemer er regulert rundt om i verden. De spenner over by, stat, nasjonal og global innsats, samt noen fra ideelle organisasjoner. Målet er å utvikle en dypere forståelse av hvordan ulike tilnærminger fungerer eller kommer til kort. Jeg snakket med Kak om hva hun lærte og hvordan vi skulle gå videre.

Dette intervjuet er redigert og komprimert for klarhet.

Hva motiverte dette prosjektet?

Biometrisk teknologi er sprer seg og blir normalisert , både i offentlige domener, men også i våre private liv. Overvåkingen av protester ved bruk av ansiktsgjenkjenning skjedde bare i år i Hong Kong, i Delhi, i Detroit og i Baltimore. Biometriske ID-systemer, som det er mindre snakk om, der biometri brukes som en betingelse for å få tilgang til velferdstjenestene dine – som også sprer seg over lav- og mellominntektsland i Asia, Afrika og Latin-Amerika.

Men det interessante er at tilbakeslaget mot disse systemene også er på topp. Talsmannen rundt det får mer oppmerksomhet enn noen gang før. Så da er spørsmålet: Hvor figurerer jus og politikk? Det er her dette kompendiet kommer inn. Denne rapporten prøver å trekke frem det vi kan lære av disse erfaringene i et øyeblikk da det virker som det er mye appetitt fra myndigheter og fra fortalergrupper for mer regulering.

Hva er dagens status for biometrisk regulering globalt? Hvor modne er de juridiske rammene for å håndtere denne nye teknologien?

Det er rundt 130 land i verden som har databeskyttelseslover. Nesten alle dekker biometriske data. Så hvis vi bare stiller spørsmålet om det finnes lover for å regulere biometriske data, så vil svaret være i de fleste land, de gjør det.

Men når du graver litt dypere, hva er begrensningene for en databeskyttelseslov? En databeskyttelseslov på sitt beste kan hjelpe deg med å regulere når biometriske data brukes og sørge for at de ikke brukes til formål som det ikke ble gitt samtykke til. Men spørsmål som nøyaktighet, diskriminering - disse problemene har fortsatt fått svært lite juridisk oppmerksomhet.

På den annen side, hva med å fullstendig forby teknologien? Vi har sett det konsentrert i USA på by- og delstatsnivå. Jeg tror folk glemmer noen ganger at det meste av denne lovgivende aktiviteten har vært konsentrert om offentlig bruk og mer spesifikt politibruk.

Så vi har en blanding av databeskyttelseslover som gir noen sikkerhetstiltak, men som i seg selv er begrenset. Og så har vi en konsentrasjon av disse fullstendige moratoriene på lokalt by- og delstatsnivå i USA.

Hva var noen vanlige temaer som dukket opp fra disse casestudiene?

For meg var den klareste kapittelet om India av Nayantara Ranganathan, og kapittelet om den australske databasen for ansiktsgjenkjenning av Monique Mann og Jake Goldenfein. Begge disse er massive sentraliserte statsarkitekturer der hele poenget er å fjerne de tekniske siloene mellom ulike stater og andre typer databaser, og sørge for at disse databasene er sentralt koblet. Så du lager denne monstersentraliserte, sentralt koblede biometriske dataarkitekturen. Så som et plaster på dette enorme problemet, sier du: Ok, vi har en databeskyttelseslov som sier at data aldri skal brukes til et formål som ikke var forestilt eller forventet. Men i mellomtiden endrer du forventningen til hva som kan forventes. I dag brukes databasen som ble brukt i strafferettslig sammenheng nå i innvandringssammenheng.

For eksempel, [i USA] bruker eller prøver ICE nå å bruke DMV-databaser i forskjellige stater i prosessen med immigrasjonshåndhevelse. Så dette er databaser opprettet i en sivil kontekst, og de prøver å bruke dem til immigrasjon. Tilsvarende i Australia har du denne gigantiske databasen, som inkluderer førerkortdata, som nå skal brukes til grenseløse strafferettsformål, og hvor innenriksavdelingen vil ha full kontroll. Og på samme måte i India opprettet de en lov, men loven la i utgangspunktet mesteparten av skjønnet i hendene på myndigheten som opprettet databasen. Så jeg tror fra disse tre eksemplene, det som blir klart for meg er at du må lese loven i sammenheng med de bredere politiske bevegelsene som skjer. Hvis jeg måtte oppsummere den bredere trenden, er det sikringen av alle aspekter av styresett, fra strafferett til immigrasjon til velferd, og det faller sammen med presset for biometri. Det er en.

Den andre – og dette er en leksjon som vi gjentar – samtykke som et juridisk verktøy er veldig ødelagt, og det er definitivt ødelagt i sammenheng med biometriske data. Men det betyr ikke at det er ubrukelig. Woody Hartzogs kapittel om Illinoiss BIPA [Biometric Information Privacy Act] sier: Se, det er flott at vi har hatt flere vellykkede søksmål mot selskaper som bruker BIPA, sist med Clearview AI. Men vi kan ikke fortsette å forvente at samtykkemodellen vil føre til strukturelle endringer. Vår løsning kan ikke være: Brukeren vet best; brukeren vil fortelle Facebook at de ikke vil at ansiktsdataene deres skal samles inn. Kanskje brukeren ikke vil gjøre det, og byrden bør ikke ligge på den enkelte for å ta disse avgjørelsene. Dette er noe personvernfellesskapet virkelig har lært på den harde måten, og det er grunnen til at lover som GDPR ikke bare er avhengige av samtykke. Det er også harde retningslinjer som sier: Hvis du har samlet inn data av én grunn, kan du ikke bruke dem til et annet formål. Og du kan ikke samle inn mer data enn absolutt nødvendig.

Var det noe land eller stat du mente viste noe særlig lovende i sin tilnærming til regulering av biometri?

Ja, ikke overraskende er det ikke et land eller en stat. Det er faktisk Den internasjonale Røde Kors-komiteen [ICRC]. I bindet, Ben Hayes og Massimo Marelli – de er begge faktisk representanter for ICRC – skrev et reflekterende stykke om hvordan de bestemte at det var en legitim interesse for dem å bruke biometri i forbindelse med distribusjon av humanitær hjelp. Men de erkjente også at det var mange regjeringer som ville presse dem for tilgang til disse dataene for å forfølge disse samfunnene.

Så de hadde en veldig reell gåte, og de løste det ved å si: Vi ønsker å lage en biometripolitikk som minimerer den faktiske oppbevaringen av folks biometriske data. Så det vi skal gjøre er å ha et kort der noens biometriske data er trygt lagret. De kan bruke det kortet for å få tilgang til den humanitære velferden eller bistanden som gis. Men hvis de bestemmer seg for å kaste det kortet, vil dataene ikke lagres noe annet sted. Politikken besluttet i utgangspunktet ikke å etablere en biometrisk database med data om flyktninger og andre som trenger humanitær hjelp.

For meg er den bredere lærdommen fra det å erkjenne hva problemet er. Problemet i den saken var at databasene skapte en honningkrukke og en reell risiko. Så de tenkte opp både en teknisk løsning og en måte for folk å trekke tilbake eller slette sine biometriske data med fullstendig byrå.

Hva er de største hullene du ser i tilnærminger til biometrisk regulering over hele linja?

Et godt eksempel for å illustrere det poenget er: Hvordan håndterer loven hele dette spørsmålet om skjevhet og nøyaktighet? De siste årene har vi sett så mye grunnleggende forskning fra folk som Joy Buolamwini, Timnit Gebru og Deb Raji som eksistensielt utfordrer: Fungerer disse systemene? Hvem jobber de mot? Og selv når de består disse såkalte nøyaktighetstestene, hvordan presterer de egentlig i en virkelig kontekst?

Personvern bekymrer seg ikke med denne typen problemer. Så det vi har sett nå – og dette er for det meste lovarbeid i USA – er lovforslag som krever nøyaktighet og ikke-diskrimineringsrevisjon for ansiktsgjenkjenningssystemer. Noen av dem sier: Vi stanser bruken av ansiktsgjenkjenning, men en betingelse for å oppheve dette moratoriet er at du vil bestå denne nøyaktighets- og ikke-diskrimineringstesten. Og testene som de ofte refererer til er tekniske standardtester som NISTs test for ansiktsgjenkjenning.

Men som jeg argumenterer i det første kapittel , disse testene utvikler seg; de har vist seg å underprestere i virkelige sammenhenger; og viktigst av alt, de er begrenset i deres evne til å håndtere den bredere diskriminerende virkningen av disse systemene når de brukes i praksis. Så jeg er virkelig bekymret på noen måter for at disse tekniske standardene blir en slags avkrysningsboks som må krysses av, og som deretter ignorerer eller tilslører andre former for skader som disse teknologiene har når de brukes.

Hvordan endret dette kompendiet måten du tenker på biometrisk regulering?

Det viktigste det gjorde for meg er å ikke tenke på regulering bare som et verktøy som vil hjelpe med å begrense disse systemene. Den kan være et verktøy for å presse tilbake mot disse systemene, men likeledes kan det være et verktøy for å normalisere eller legitimere disse systemene. Det er først når vi ser på eksempler som det i India eller det i Australia at vi begynner å se juss som et mangefasettert instrument, som kan brukes på forskjellige måter. I det øyeblikket vi virkelig presser på for å si Trenger disse teknologiene i det hele tatt eksistere? loven, og spesielt svak regulering, kan virkelig bevæpnes. Det var en god påminnelse for meg. Det må vi være forsiktige med.

Denne samtalen har definitivt vært åpenbarende for meg fordi som en som dekker måten teknologien er våpen på, blir jeg ofte spurt: Hva er løsningen? og jeg sier alltid, regulering. Men nå sier du at regulering også kan bevæpnes.

Det er så sant! Dette får meg til å tenke på disse gruppene som pleide å jobbe med vold i hjemmet i India. Og jeg husker de sa at på slutten av tiår med kamp for rettighetene til overlevende etter vold i hjemmet, sa regjeringen til slutt: Ok, vi har vedtatt denne loven. Men etter det endret ingenting. Jeg husker at jeg allerede da tenkte at vi noen ganger glorifiserer ideen om å vedta lover, men hva skjer etter det?

Og dette er en god segue - selv når jeg leser Clare Garvie og Jameson Spivacks kapittel om forbud og moratorier , påpeker de at de fleste av disse forbudene kun gjelder offentlig bruk. Det er fortsatt denne enorme private industrien på flere milliarder dollar. Så det kommer fortsatt til å bli brukt på Taylor Swift-konserten på veldig lignende måter som politiet ville bruke det på: å holde folk ute, å diskriminere folk. Det stopper ikke maskinen. At form for juridisk inngripen vil kreve enestående forkjemper. Jeg tror ikke det er umulig å ha det såkalte fullstendige forbudet, men vi er ikke der ennå. Så ja, vi må være mer forsiktige og kritiske til måten vi forstår lovens rolle på.

Hva med kompendiet fikk deg til å håpe på fremtiden?

Det er alltid et så vanskelig spørsmål, men det burde ikke være det. Det var det sannsynligvis Rashida Richardson og Stephanie Coyles kapittel . Kapittelet deres var nesten som en etnografi om denne gruppen foreldre i New York som følte veldig sterkt på det faktum at de ikke ville at barna deres skulle bli overvåket. Og de sa: Vi kommer til å gå på hvert eneste møte, selv om de ikke forventer at vi skal gjøre det. Og vi skal si at vi har et problem med dette.

Det var bare veldig betryggende å lære om en historie der det var foreldregruppen som endret diskursen fullstendig. De sa: La oss ikke snakke om hvorvidt biometri eller overvåking er nødvendig. La oss bare snakke om de virkelige skadene av dette for barna våre og om dette er den beste bruken av penger. En senator tok deretter opp dette og innførte et lovforslag, og bare i august vedtok Senatet i delstaten New York dette lovforslaget. Jeg feiret med Rashida fordi jeg var som, Yay! Historier som dette skjer! Det er veldig dypt forbundet med historien om advocacy.

gjemme seg