Maskinlæringsalgoritme kan vise om statshemmeligheter er riktig klassifisert

Det amerikanske utenriksdepartementet genererer rundt to milliarder e-poster hvert år. En betydelig del av disse inneholder sensitiv eller hemmelig informasjon og må derfor klassifiseres, en prosess som er tidkrevende og kostbar. Bare i 2015 brukte den 16 milliarder dollar på å beskytte klassifisert informasjon.

Men påliteligheten til denne klassifiseringsprosessen er uklar. Ingen vet om reglene for klassifisering av opplysninger brukes konsekvent og pålitelig. Det er faktisk betydelig uenighet om hva som til og med utgjør informasjon som bør klassifiseres.

Dessuten er det lett å forestille seg at menneskelige feil spiller en betydelig rolle i feilklassifiseringen av offisielle hemmeligheter. Men ingen vet hvor betydelige disse feilene kan være.

I dag endrer det seg takket være arbeidet til Renato Rocha Souza ved den brasilianske tenketanken Fundação Getulio Vargas i Rio De Janeiro og kolleger ved Columbia University i New York. Disse karene har brukt en maskinlæringsalgoritme for å studere over en million avklassifiserte kabler fra utenriksdepartementet fra 1970-tallet.

Arbeidet deres gir en enestående innsikt i naturen til offisielle hemmeligheter, hvordan mennesker bruker reglene, og hvor ofte feil kryper inn i prosessen for å avsløre sensitiv informasjon eller skjule ellers ufarlige detaljer. Algoritmene avslører også mistenkelige mønstre i måten kabler forsvinner på.

Teamet begynte med et korpus på en million kabler, som de lastet ned fra U.S. National Archives i form av XML-filer. Hver kabel er en tekstmelding som utveksles mellom utenriksdepartementet og en diplomatisk oppdrag i et fremmed land, for eksempel en ambassade eller et konsulat.

Kablene er merket som hemmelige, konfidensielle, begrenset offisiell bruk eller som uklassifisert. Hemmelig informasjon er definert som å ha potensial til å alvorlig skade nasjonal sikkerhet, konfidensiell informasjon er definert som å ha potensial til å forårsake skade, men ikke alvorlig skade. Den begrensede offisielle brukskategorien var udefinert på 1970-tallet og er fortsatt kontroversiell selv i dag.

Kablene inneholder også annen informasjon. Hver melding har en dato, en avsender og mottaker, et emne og selvfølgelig meldingsteksten.

Souza og co brukte en rekke maskinlæringsmetoder for å finne ut hvordan disse faktorene korrelerer med klassifiseringsetiketten. Og etter å ha oppdaget denne korrelasjonen, testet de algoritmen for å se hvor godt den kunne forutsi om en gitt kabel var klassifisert eller ikke.

Resultatene gir interessant lesning. Souza og co sier at selve meldingen er den beste indikatoren på om en kabel er klassifisert. Av alle funksjonene var den relative frekvensen av forskjellige ord i kroppen den mest nyttige for å identifisere sensitiv informasjon, sier de. Sender- og mottakerdata er også en god indikator på følsomhetsnivået, men kan føre til at algoritmen klassifiserer mange kabler som ikke ble klassifisert som de som var. Dette fører med andre ord til en høy andel falske positiver.

Når maskinlæringsalgoritmen kombinerer de ulike typene metadata i sine beslutninger, kan den oppdage rundt 90 prosent av kablene som er klassifisert, med en falsk positiv rate på bare 11 prosent. Og Souza og co sier det burde være mulig å gjøre det bedre om kabler som fortsatt er klassifisert ble inkludert.

Falske positive og falske negative er i seg selv interessante. Dette er kabler som maskinen spådde ville bli klassifisert, men som ikke var det og omvendt. I mange tilfeller avslørte maskinen kabler som var feilklassifisert av mennesker. Et eksempel er en kabel om japanske myndigheters følsomhet over amerikanske inspeksjoner av atomanleggene. Denne kabelen var uklassifisert, men burde vært det siden teksten avslører at den opprinnelig var konfidensiell, sier forskerne.

En begrensning av dataene er at mange kabler har gått tapt, tilsynelatende på grunn av problemer med å konvertere dem til et elektronisk format. Det kanskje mest interessante ved dette arbeidet er at det antyder at disse meldingene kan ha blitt borte av andre årsaker.

En ledetråd er hvor raskt meldingene forsvant, som er forskjellige for klassifiserte og uklassifiserte kabler. Elektroniske meldinger klassifisert som 'hemmelige' hadde mer enn tre ganger større sannsynlighet for å forsvinne sammenlignet med meldinger om uklassifisert og begrenset offisiell bruk, sier Souza og co.

Dessuten overlever metadataene knyttet til kablene ofte når den elektroniske meldingen har gått tapt. Hvordan dette kunne ha skjedd er et puslespill.

Dessuten, hvis meldingene gikk tapt når de ble konvertert fra ett format til et annet, ville de mest sannsynlig bli borte når utenriksdepartementet satte opp sitt nye datalagringssystem. Det er bemerkelsesverdig at de fleste av disse [manglende] kablene ikke dateres til da utenriksdepartementet først satte opp systemet, da man kunne forvente at det ville ha vært feilsøkende måter å pålitelig overføre data mellom forskjellige maskinvare- og programvareplattformer, sier teamet.

Arbeidet har viktige implikasjoner for balansen mellom åpenhet og hemmelighold. Maskiner kan tydelig hjelpe til med å overvåke praksisen med å klassifisere data. Men de kan ikke gjøre dette bedre i gjennomsnitt enn databasene de lærer fra. Hvis disse inneholder feil, som utenriksdepartementets kabler tydeligvis gjør, vil maskinene uunngåelig bli forkledd.

Men et interessant spørsmål er om dataene som denne typen maskinlæring avslører, i seg selv bør klassifiseres hvis de avslører atferdsmønstre som kan være skadelig for den nasjonale interessen. For eksempel kan hastigheten der konfidensiell informasjon feilaktig merkes som uklassifisert være nyttig for en fremmed makt som forsøker å samle inn klassifisert informasjon fra uklassifiserte kabler.

Det er åpenbart mer arbeid å gjøre. Souza og co sier at til tross for utenriksdepartementets enorme utgifter til å beskytte klassifisert informasjon, er det lite eller ingen publisert forskning om konsistensen av klassifisering. Det er heller ikke mye forståelse for hvor mye denne typen maskinlæring kan avsløre.

Kanskje alt dette arbeidet gjøres bak lukkede dører. På den annen side, kanskje ikke.

Ref: arxiv.org/abs/1611.00356 : Bruk av kunstig intelligens for å identifisere statshemmeligheter

gjemme seg