211service.com
Hvem trenger demokrati når man har data?
Her er hvordan Kina styrer ved hjelp av data, AI og internettovervåking. 20. august 2018
Bilde av to overvåkingskameraer ved siden av et portrett av Mao Zedong.
I 1955 publiserte science fiction-forfatteren Isaac Asimov en novelle om et eksperiment i elektronisk demokrati, der en enkelt innbygger, valgt til å representere en hel befolkning, svarte på spørsmål generert av en datamaskin ved navn Multivac. Maskinen tok disse dataene og beregnet resultatet av et valg som derfor aldri trengte å skje. Asimovs historie ble satt i Bloomington, Indiana, men i dag bygges en tilnærming av Multivac i Kina.
For ethvert autoritært regime er det et grunnleggende problem for sentrum med å finne ut hva som skjer på lavere nivåer og på tvers av samfunnet, sier Deborah Seligsohn, en statsviter og Kina-ekspert ved Villanova University i Philadelphia. Hvordan styrer du effektivt et land som er hjemsted for én av fem mennesker på planeten, med en stadig mer kompleks økonomi og samfunn, hvis du ikke tillater offentlig debatt, sivil aktivisme og tilbakemeldinger fra valg? Hvordan samler du nok informasjon til å faktisk ta beslutninger? Og hvordan skaper en regjering som ikke inviterer sine innbyggere til å delta fortsatt tillit og bøyer offentlig oppførsel uten å sette politi på hver dørstokk?
Denne historien var en del av utgaven for september 2018
- Se resten av saken
- Abonnere
Hu Jintao, Kinas leder fra 2002 til 2012, hadde forsøkt å løse disse problemene ved å tillate en beskjeden demokratisk opptining, slik at muligheter for klager nådde den herskende klassen. Hans etterfølger, Xi Jinping, har snudd den trenden. I stedet er strategien hans for å forstå og svare på hva som skjer i en nasjon på 1,4 milliarder avhengig av en kombinasjon av overvåking, AI og big data for å overvåke folks liv og oppførsel i minste detalj.
Det hjelper at et par turbulente år i verdens demokratier har fått den kinesiske politiske eliten til å føle seg stadig mer berettiget til å stenge velgere ute. Utviklinger som Donald Trumps valg, Brexit, fremveksten av høyreekstreme partier over hele Europa og Rodrigo Dutertes terrorvelde på Filippinene understreker det mange kritikere ser på som problemene som ligger i demokratiet, spesielt populisme, ustabilitet og prekært personalisert lederskap.
Siden han ble generalsekretær for det kinesiske kommunistpartiet i 2012, har Xi lagt en rekke ambisiøse planer for landet, mange av dem forankret i teknologi – inkludert et mål om å bli verdensledende innen kunstig intelligens innen 2030. Xi har etterlyst cybersuverenitet for å styrke sensur og hevde full kontroll over det innenlandske internett. I mai fortalte han et møte i det kinesiske vitenskapsakademiet at teknologi var nøkkelen til å nå det store målet om å bygge en sosialistisk og modernisert nasjon. I januar, da han talte til nasjonen på TV, inneholdt bokhyllene på hver side av ham både klassiske titler som Das Kapital og noen få nye tillegg, inkludert to bøker om kunstig intelligens: Pedro Domingos’ Mesteralgoritmen og Brett King's Augmented: Life in the Smart Lane .
Ingen regjering har en mer ambisiøs og vidtrekkende plan for å utnytte kraften til data for å endre måten den styrer på enn den kinesiske regjeringen, sier Martin Chorzempa ved Peterson Institute for International Economics i Washington, DC. Selv noen utenlandske observatører, som ser på langveis fra, kan bli fristet til å lure på om slik datadrevet styring tilbyr et levedyktig alternativ til den stadig mer dysfunksjonelle valgmodellen. Men å stole for mye på teknologiens og dataens visdom medfører sine egne risikoer.
Data i stedet for dialog
Kinesiske ledere har lenge ønsket å tappe offentlige følelser uten å åpne døren for heftig debatt og kritikk av myndighetene. I det meste av den keiserlige og moderne kinesiske historien har det vært en tradisjon med misfornøyde mennesker fra landsbygda som reiser til Beijing og arrangerer små demonstrasjoner som offentlige begjæringer. Tanken var at hvis lokale myndigheter ikke forsto eller brydde seg om deres klager, kunne keiseren vise bedre dømmekraft.
Under Hu Jintao så noen medlemmer av kommunistpartiet en begrenset åpenhet som en mulig måte å avsløre og fikse visse typer problemer. Blogger, antikorrupsjonsjournalister, menneskerettighetsadvokater og nettkritikere som setter søkelyset på lokal korrupsjon, drev offentlig debatt mot slutten av Hus regjeringstid. Tidlig i sin periode mottok Xi en daglig orientering om offentlige bekymringer og forstyrrelser som ble skrapet fra sosiale medier, ifølge en tidligere amerikansk tjenestemann med kunnskap om saken. I løpet av de siste årene har begjærere kommet til hovedstaden for å gjøre oppmerksom på skandaler som ulovlige landbeslag fra lokale myndigheter og forurenset melkepulver.
Men politiet hindrer i økende grad at andragere fra å nå Beijing. Nå krever tog nasjonal ID for å kjøpe billetter, noe som gjør det enkelt for myndighetene å identifisere potensielle «bråkmakere» som de som har protestert mot regjeringen tidligere, sier Maya Wang, senior Kina-forsker for Human Rights Watch. Flere andragere fortalte oss at de er blitt stoppet ved togplattformer. Bloggerne, aktivistene og advokatene blir også systematisk stilnet eller fengslet, som om data kan gi regjeringen den samme informasjonen uten noen av de vanskelige frihetsproblemene.
En Shanghai-oppstarts demo av systemet for ansiktsgjenkjenning.
Ideen om å bruke nettverksteknologi som et verktøy for styring i Kina går tilbake til i det minste midten av 1980-tallet. Som Harvard-historikeren Julian Gewirtz forklarer, da den kinesiske regjeringen så at informasjonsteknologi ble en del av dagliglivet, innså den at den ville ha et kraftig nytt verktøy for både å samle informasjon og kontrollere kultur, for å gjøre kinesere mer 'moderne' og mer 'regjerbare' - som har vært evige besettelse av ledelsen. Senere fremskritt, inkludert fremgang innen AI og raskere prosessorer, har brakt denne visjonen nærmere.
Så vidt vi vet, er det ingen enkelt hovedplan som kobler sammen teknologi og styring i Kina. Men det er flere initiativer som deler en felles strategi for å høste data om mennesker og selskaper for å informere beslutningstaking og lage systemer med insentiver og straff for å påvirke atferd. Disse initiativene inkluderer statsrådets 2014 sosiale kredittsystem, 2016 Cybersecurity Law, ulike eksperimenter på lokalt nivå og private bedrifter innen sosial kreditt, smarte byplaner og teknologidrevet politiarbeid i den vestlige regionen Xinjiang. Ofte involverer de partnerskap mellom regjeringen og Kinas teknologiselskaper.
Det mest vidtrekkende er Social Credit System, selv om en bedre oversettelse på engelsk kan være tillits- eller omdømmesystemet. Regjeringens plan, som dekker både mennesker og bedrifter, lister blant sine mål oppbygging av oppriktighet i regjeringssaker, kommersiell oppriktighet og rettslig troverdighet. (Alle i Kina har en tante som er blitt svindlet. Det er et legitimt behov for å ta tak i et sammenbrudd i offentlig tillit, sier Paul Triolo, leder for geoteknologipraksisen i konsulentselskapet Eurasia Group.) Til dags dato er det et arbeid som pågår, men ulike piloter forhåndsviser hvordan det kan fungere i 2020, når det er ment å være fullt implementert.
Algoritmen antas å fremheve mistenkelig atferd som å besøke en moske eller eie for mange bøker.
Svartelister er systemets første verktøy. De siste fem årene har Kinas rettssystem publisert navnene på personer som ikke har betalt bøter eller etterkommet dommer. I henhold til nye sosiale kredittforskrifter deles denne listen med ulike virksomheter og offentlige etater. Folk på listen har funnet seg blokkert fra å låne penger, bestille flyreiser og bo på luksushoteller. Kinas nasjonale transportselskaper har opprettet flere svartelister for å straffe ryttere for oppførsel som å blokkere togdører eller velge kamper under en reise; lovbrytere er utestengt fra fremtidige billettkjøp i seks eller 12 måneder. Tidligere i år lanserte Beijing en serie svartelister for å forby uærlige foretak fra å bli tildelt fremtidige offentlige kontrakter eller landtilskudd.
Noen få lokale myndigheter har eksperimentert med sosiale kredittpoeng, selv om det ikke er klart om de vil være en del av den nasjonale planen. Den nordlige byen Rongcheng, for eksempel, tildeler en poengsum til hver av sine 740 000 innbyggere, rapporterte Foreign Policy. Alle begynner med 1000 poeng. Hvis du donerer til en veldedig organisasjon eller vinner en statlig pris, får du poeng; hvis du bryter en trafikklov, for eksempel ved å kjøre beruset eller kjøre fort gjennom et fotgjengerfelt, mister du poeng. Personer med gode score kan tjene rabatter på vintervarmeforsyning eller få bedre vilkår på boliglån; de med dårlige resultater kan miste tilgang til banklån eller forfremmelser i offentlige jobber. Rådhuset viser plakater av lokale forbilder, som har vist dyd og oppnådd høye poengsummer.
Ideen med sosial kreditt er å overvåke og administrere hvordan mennesker og institusjoner oppfører seg, sier Samantha Hoffman ved Mercator Institute for China Studies i Berlin. Når et brudd er registrert i en del av systemet, kan det utløse reaksjoner i andre deler av systemet. Det er et konsept designet for å støtte både økonomisk utvikling og sosial ledelse, og det er iboende politisk. Noen paralleller til deler av Kinas blåkopi eksisterer allerede i USA: en dårlig kredittscore kan forhindre deg i å ta opp et boliglån, mens en forbrytelse suspenderer eller annullerer for eksempel stemmeretten din. Men de er ikke alle koblet på samme måte - det er ingen overordnet plan, påpeker Hoffman.
En av de største bekymringene er at fordi Kina mangler et uavhengig rettsvesen, har innbyggerne ingen mulighet for å bestride falske eller unøyaktige påstander. Noen har funnet navnene deres lagt til reisesvartelister uten varsel etter en rettsavgjørelse. Andragere og undersøkende journalister overvåkes i henhold til et annet system, og folk som har gått inn i narkotikarehabilitering blir overvåket av enda et annet overvåkingssystem. Teoretisk sett er narkotikabrukerdatabasene ment å slette navn etter fem eller syv år, men jeg har sett mange tilfeller der det ikke skjedde, sier Wang fra Human Rights Watch. Det er utrolig vanskelig å noen gang ta deg selv fra noen av disse listene.
Sporadiske raseriutbrudd på nettet peker på offentlig harme. Nyheter om at en student hadde blitt avvist av en høyskole på grunn av farens inkludering på en kredittsvarteliste, tente nylig en skogbrann av sinne på nettet. Høgskolens avgjørelse hadde ikke blitt offisielt sanksjonert eller beordret av regjeringen. Snarere, i sin entusiasme for å støtte de nye retningslinjene, hadde skoleadministratorer ganske enkelt tatt dem til det de så som den logiske konklusjonen.
Opasiteten til systemet gjør det vanskelig å vurdere hvor effektive eksperimenter som Rongchengs er. Partiet har presset ut nesten alle kritiske røster siden 2012, og risikoen for å utfordre systemet – selv på relativt små måter – har vokst. Hvilken informasjon som er tilgjengelig er dypt mangelfull; systematisk forfalskning av data om alt fra BNP-vekst til vannkraftbruk gjennomsyrer kinesiske myndigheters statistikker. Australian National University-forsker Borge Bakken anslår at offisielle kriminalitetstall, som regjeringen har et klart insentiv til å bagatellisere, kan representere så lite som 2,5 prosent av all kriminell atferd.
I teorien kan datadrevet styring bidra til å fikse disse problemene – å omgå forvrengninger for å tillate sentralregjeringen å samle informasjon direkte. Det har vært tanken bak for eksempel å introdusere luftkvalitetsmonitorer som sender data tilbake til sentrale myndigheter i stedet for å stole på lokale tjenestemenn som kan være i lommen på forurensende industrier. Men mange aspekter ved godt styresett er for kompliserte til å tillate den slags direkte overvåking og i stedet stole på data som er lagt inn av de samme lokale tjenestemennene.
Imidlertid utgir den kinesiske regjeringen sjelden ytelsesdata som utenforstående kan bruke for å evaluere disse systemene. Ta kameraene som brukes til å identifisere og skamme jaywalkere i noen byer ved å projisere ansiktene deres på offentlige reklametavler, samt for å spore bønnevanene til muslimer i det vestlige Kina. Deres nøyaktighet er fortsatt i tvil: spesielt, hvor godt kan ansiktsgjenkjenningsprogramvare som er trent på han-kinesiske ansikter gjenkjenne medlemmer av eurasiske minoritetsgrupper? Dessuten, selv om datainnsamlingen er nøyaktig, hvordan vil myndighetene bruke slik informasjon for å styre eller hindre fremtidig atferd? Politialgoritmer som forutsier hvem som sannsynligvis vil bli kriminelle, er ikke åpne for offentlig gransking, og heller ikke statistikk som viser om kriminalitet eller terrorisme har vokst eller redusert. (For eksempel, i den vestlige regionen Xinjiang, viser den tilgjengelige informasjonen bare at antallet personer som er tatt i politiets varetekt har skutt opp dramatisk, og steg 731 prosent fra 2016 til 2017.)
I byen Xiangyang projiserer kameraer knyttet til ansiktsgjenkjenningsteknologi bilder av jaywalkers, med navn og ID-nummer, på en reklametavle.
Det er ikke teknologien som skapte retningslinjene, men teknologien utvider i stor grad den typen data som den kinesiske regjeringen kan samle inn om enkeltpersoner, sier Richard McGregor, seniorstipendiat ved Lowy Institute og forfatter av Partiet: Den hemmelige verden til Kinas kommunistiske herskere . Internett i Kina fungerer som en privatdrevet digital etterretningstjeneste i sanntid.
Algoritmisk politiarbeid
Skriver i Washington Post tidligere i år kalte Xiao Qiang, en professor i kommunikasjon ved University of California, Berkeley, Kinas dataforbedrede styring til en digital totalitær stat. De dystopiske aspektene er mest åpenbart utstilt i det vestlige Kina.
Xinjiang (New Territory) er det tradisjonelle hjemmet til en kinesisk muslimsk minoritet kjent som uigurer. Etter hvert som et stort antall han-kinesiske migranter har bosatt seg i – noen sier kolonisert – regionen, har arbeidet og de religiøse mulighetene som er gitt til den lokale uigurbefolkningen blitt mindre. Ett resultat har vært en økning i volden der både Han og Uighur har blitt målrettet, inkludert et opprør i 2009 i hovedstaden Urumqi, da rapporterte at 200 mennesker døde. Regjeringens svar på økende spenning har ikke vært å holde offentlige fora for å innhente synspunkter eller politiske råd. I stedet bruker staten datainnsamling og algoritmer for å bestemme hvem som sannsynligvis vil begå fremtidige voldshandlinger eller trass.
Xinjiang-regjeringen ansatte et privat selskap for å designe de prediktive algoritmene som vurderer ulike datastrømmer. Det er ingen offentlig oversikt eller ansvarlighet for hvordan disse beregningene er bygget opp eller vektet. Menneskene som lever under dette systemet vet vanligvis ikke engang hva reglene er, sier Rian Thum, en antropolog ved Loyola University som studerer Xinjiang og som har sett offentlige anskaffelser som ble utstedt under byggingen av systemet.
I den vestlige byen Kashgar er mange av familiehjemmene og butikkene i hovedgatene nå oppbygde, og de offentlige plassene er tomme. Da jeg besøkte i 2013, var det klart at Kashgar allerede var en segregert by – Han- og Uighur-befolkningen bodde og arbeidet i forskjellige deler av byen. Men om kveldene var det også et livlig og ofte støyende sted, hvor lydene av bønnropet blandet seg med dansemusikk fra lokale klubber og samtaler fra gamle menn som satt ute sent i plaststoler på uteplassene. I dag er byen uhyggelig stille; nabolagets offentlige liv har nesten forsvunnet. Emily Feng, en journalist for Financial Times , besøkte Kashgar i juni og la ut bilder på Twitter av de nylig ledige gatene.
Årsaken er at etter noen anslag har mer enn én av ti uiguriske og kasakhiske voksne i Xinjiang blitt sendt til piggtrådringede omopplæringsleirer – og de som er på frifot er redde.
I løpet av de siste to årene har tusenvis av sjekkpunkter blitt satt opp der forbipasserende må vise frem både ansiktet og nasjonalt ID-kort for å fortsette på en motorvei, gå inn i en moské eller besøke et kjøpesenter. Uigurer er pålagt å installere myndighetsdesignede sporingsapper på smarttelefonene sine, som overvåker nettkontaktene deres og nettsidene de har besøkt. Politifolk besøker lokale hjem regelmessig for å samle inn ytterligere data om ting som hvor mange mennesker som bor i husholdningen, hvordan forholdet deres til naboene er, hvor mange ganger folk ber daglig, om de har reist til utlandet og hvilke bøker de har.
Alle disse datastrømmene mates inn i Xinjiangs offentlige sikkerhetssystem, sammen med andre poster som fanger informasjon om alt fra bankhistorie til familieplanlegging. Dataprogrammet samler alle data fra disse forskjellige kildene og flagger de som kan bli «en trussel» for myndighetene, sier Wang. Selv om den nøyaktige algoritmen er ukjent, antas det at den kan fremheve atferd som å besøke en bestemt moske, eie mange bøker, kjøpe en stor mengde bensin eller motta telefonsamtaler eller e-post fra kontakter i utlandet. Folk den flagger blir besøkt av politiet, som kan ta dem i varetekt og sette dem i fengsel eller i gjenopplæringsleirer uten noen formelle siktelser.
Besøkende på Den himmelske freds plass i Beijing skanner ID-ene sine ved et sjekkpunkt.
Adrian Zenz, en statsviter ved European School of Culture and Theology i Korntal, Tyskland, beregner at interneringsraten for minoriteter i Xinjiang kan være så høy som 11,5 prosent av den voksne befolkningen. Disse leirene er designet for å innpode patriotisme og få folk til å avlære religiøs tro. (Nye anskaffelser for kremasjonsvakter ser ut til å indikere at regjeringen også prøver å utrydde tradisjonell muslimsk begravelsespraksis i regionen.)
Mens Xinjiang representerer en drakonisk ytterlighet, begynner innbyggerne andre steder i Kina å presse tilbake mot noen former for overvåking. Et internettselskap som streamet TV-opptak med lukkede kretser på nettet, stengte disse sendingene etter et offentlig ramaskrik. Byen Shanghai har nylig utstedt forskrifter for å tillate folk å bestride uriktig informasjon som brukes til å sette sammen sosiale kredittoppføringer. Det er økende krav til personvern fra kinesiske internettbrukere, sier Samm Sacks, seniorstipendiat i Technology Policy Program ved CSIS i New York. Det er ikke helt gratis for alle som det er laget for å være.
Christina Larson er en prisbelønnet utenrikskorrespondent og vitenskapsjournalist, som hovedsakelig skriver om Kina og Asia.