Militær kunstig intelligens kan lett og farlig lures

En skilpadde og en rifle getty bilder

I mars kunngjorde kinesiske forskere et genialt og potensielt ødeleggende angrep mot en av USAs mest verdsatte teknologiske eiendeler – en Tesla-elbil.

Teamet, fra sikkerhetslaboratoriet til den kinesiske teknologigiganten Tencent, demonstrerte flere måter å lure AI-algoritmene på Teslas bil. Ved å subtilt endre dataene som ble matet til bilens sensorer, klarte forskerne å forvirre og forvirre den kunstige intelligensen som driver kjøretøyet.

Denne historien var en del av november 2019-utgaven vår

• Se resten av saken
• Abonnere

I ett tilfelle inneholdt en TV-skjerm et skjult mønster som lurte vindusviskerne til å aktiveres. I en annen ble filmarkeringer på veien aldri så litt modifisert for å forvirre det autonome kjøresystemet slik at det kjørte over dem og inn i kjørefeltet for møtende trafikk.

Teslas algoritmer er vanligvis glimrende til å oppdage regndråper på en frontrute eller følge linjene på veien, men de fungerer på en måte som er fundamentalt forskjellig fra menneskelig oppfatning. Det gjør slike dyplæringsalgoritmer, som raskt feier gjennom ulike bransjer for applikasjoner som ansiktsgjenkjenning og kreftdiagnose, overraskende lette å lure hvis du finner deres svake sider.

Å føre en Tesla på villspor virker kanskje ikke som en strategisk trussel for USA. Men hva om lignende teknikker ble brukt for å lure angrepsdroner, eller programvare som analyserer satellittbilder, til å se ting som ikke er der – eller ikke se ting som er?

Innsamling av kunstig intelligens

Rundt om i verden er AI allerede sett på som den neste store militære fordelen.

Tidlig i år kunngjorde USA en storslått strategi for å utnytte kunstig intelligens i mange områder av militæret, inkludert etterretningsanalyse, beslutningstaking, kjøretøyautonomi, logistikk og våpen. Forsvarsdepartementets foreslåtte budsjett på 718 milliarder dollar for 2020 tildeler 927 millioner dollar til AI og maskinlæring. Eksisterende prosjekter inkluderer det ganske hverdagslige (testing av om AI kan forutsi når stridsvogner og lastebiler trenger vedlikehold) så vel som ting på forkant av våpenteknologi (svermer av droner).

Pentagons AI-push er delvis drevet av frykt for måten rivaler kan bruke teknologien på. I fjor sendte Jim Mattis, daværende forsvarsminister, et notat til president Donald Trump som advarte om at USA allerede henger etter når det gjelder AI. Bekymringen hans er forståelig.

I juli 2017 artikulerte Kina sin AI-strategi, og erklærte at verdens store utviklede land tar utviklingen av AI som en viktig strategi for å styrke nasjonal konkurranseevne og beskytte nasjonal sikkerhet. Og noen måneder senere erklærte Vladimir Putin fra Russland illevarslende: Den som blir lederen i [AI]-sfæren vil bli verdens hersker.

Ambisjonen om å bygge de smarteste og dødeligste våpnene er forståelig, men som Tesla-hacket viser, kan en fiende som vet hvordan en AI-algoritme fungerer, gjøre den ubrukelig eller til og med snu den mot eierne. Hemmeligheten bak å vinne AI-krigene ligger kanskje ikke i å lage de mest imponerende våpnene, men i å mestre programvarens urovekkende forræderi.

Kamproboter

På en lys og solrik dag i fjor sommer i Washington, DC, satt Michael Kanaan i Pentagons kafeteria, spiste en sandwich og undret seg over et kraftig nytt sett med maskinlæringsalgoritmer.

Noen uker tidligere hadde Kanaan sett et videospill der fem AI-algoritmer jobbet sammen for å nesten utmanøvrere, overliste og overliste fem mennesker i en konkurranse som involverte kontroll av styrker, leirer og ressurser over en kompleks, vidstrakt slagmark. Brynet under Kanaans beskårede blonde hår ble imidlertid rynket da han beskrev handlingen. Det var en av de mest imponerende demonstrasjonene av AI-strategi han noen gang hadde sett, en uventet utvikling som ligner på AI-fremskritt i sjakk, Atari og andre spill.

Krigsspillet hadde funnet sted i Dota 2, et populært sci-fi videospill som er utrolig utfordrende for datamaskiner. Lag må forsvare territoriet sitt mens de angriper motstandernes leirer i et miljø som er mer komplekst og villedende enn noe brettspill. Spillere kan bare se en liten del av hele bildet, og det kan ta omtrent en halvtime å finne ut om en strategi er en vinnende strategi.

AI-kombattantene ble ikke utviklet av militæret, men av OpenAI, et selskap opprettet av Silicon Valley-stormenn inkludert Elon Musk og Sam Altman for å gjøre grunnleggende AI-forskning. Selskapets algoritmiske krigere, kjent som OpenAI Five, utarbeidet sine egne vinnerstrategier gjennom nådeløs øvelse og ved å svare med trekk som viste seg å være mest fordelaktige.

AI-styrte missiler kan bli blendet av motstridende data, og kanskje til og med styres tilbake mot vennlige mål.

Det er akkurat den typen programvare som fascinerer Kanaan, en av personene som har i oppgave å bruke kunstig intelligens for å modernisere det amerikanske militæret. For ham viser det hva militæret har å vinne ved å få hjelp fra verdens beste AI-forskere. Men om de er villige er det stadig mer spørsmål.

Kanaan var luftforsvarets leder på Project Maven, et militært initiativ rettet mot å bruke AI for å automatisere identifisering av objekter i flybilder. Google var en kontraktør på Maven, og da andre Google-ansatte fant ut det, i 2018, bestemte selskapet seg for å forlate prosjektet. De utviklet deretter en AI-atferdskodeks som sa at Google ikke ville bruke sin AI til å utvikle våpen eller andre teknologier hvis hovedformål eller implementering er å forårsake eller direkte lette skade på mennesker.

Arbeidere ved noen andre store teknologiselskaper etterfulgt av å kreve at deres arbeidsgivere unngår militære kontrakter. Mange fremtredende AI-forskere har støttet et forsøk på å sette i gang et globalt forbud mot å utvikle helt autonome våpen.

For Kanaan ville det imidlertid være et stort problem hvis militæret ikke kunne jobbe med forskere som de som utviklet OpenAI Five. Enda mer urovekkende er utsiktene til at en motstander får tilgang til slik banebrytende teknologi. Koden er bare der ute for alle å bruke, sa han. Han la til: krig er langt mer komplekst enn et videospill.

Fem algoritmer jobber sammen for å overliste fem mennesker i det slagmarksbaserte videospillet Dota 2. courTesy image

AI-stigningen

Kanaan er generelt veldig bullish om AI, delvis fordi han vet selv hvor nyttig det er for tropper. For seks år siden, som etterretningsoffiser for luftforsvaret i Afghanistan, var han ansvarlig for å distribuere en ny type etterretningsinnsamlingsverktøy: et hyperspektralt bildeapparat. Instrumentet kan oppdage gjenstander som vanligvis er skjult, som tanker drapert i kamuflasje eller utslipp fra en improvisert bombefabrikk. Kanaan sier at systemet hjalp amerikanske tropper med å fjerne mange tusen kilo sprengstoff fra slagmarken. Likevel var det ofte upraktisk for analytikere å behandle de enorme datamengdene som ble samlet inn av bildemaskinen. Vi brukte for mye tid på å se på dataene og ikke nok tid på å ta beslutninger, sier han. Noen ganger tok det så lang tid at du lurte på om du kunne ha reddet flere liv.

En løsning kan ligge i et gjennombrudd innen datasyn av et team ledet av Geoffrey Hinton ved University of Toronto. Den viste at en algoritme inspirert av et mangelags nevralt nettverk kunne gjenkjenne objekter i bilder med enestående dyktighet når det ble gitt nok data og datakraft.

Trening av et nevralt nettverk innebærer å mate inn data, som pikslene i et bilde, og kontinuerlig endre forbindelsene i nettverket, ved hjelp av matematiske teknikker, slik at utgangen kommer nærmere et bestemt utfall, som å identifisere objektet i bildet. Over tid lærer disse dyplæringsnettverkene å gjenkjenne mønstrene til piksler som utgjør hus eller mennesker. Fremskritt innen dyp læring har utløst den nåværende AI-boomen; teknologien underbygger Teslas autonome systemer og OpenAIs algoritmer.

Kanaan erkjente umiddelbart potensialet til dyp læring for å behandle de ulike typene bilder og sensordata som er avgjørende for militære operasjoner. Han og andre i luftforsvaret begynte snart å lobbye sine overordnede for å investere i teknologien. Deres innsats har bidratt til Pentagons store AI-push.

Men kort tid etter at dyp læring kom inn på scenen, fant forskerne at selve egenskapene som gjør den så kraftig også er en akilleshæl.

Akkurat som det er mulig å beregne hvordan man justerer et nettverks parametere slik at det klassifiserer et objekt riktig, er det mulig å beregne hvordan minimale endringer i inndatabildet kan føre til at nettverket feilklassifiserer det. I slike motstridende eksempler blir bare noen få piksler i bildet endret, slik at det ser akkurat likt ut for en person, men veldig annerledes enn en AI-algoritme. Problemet kan oppstå hvor som helst hvor dyp læring kan brukes - for eksempel ved veiledning av autonome kjøretøy, planlegging av oppdrag eller oppdage nettverksinntrenging.

Midt i oppbyggingen av militær bruk av AI, har disse mystiske sårbarhetene i programvaren fått langt mindre oppmerksomhet.

Bevegelige mål

En bemerkelsesverdig gjenstand tjener til å illustrere kraften til motstandsdyktig maskinlæring. Det er en modellskilpadde.

For deg eller meg ser det normalt ut, men for en drone eller en robot som kjører en spesiell dyplæringsalgoritme, ser det ut til å være ... en rifle. I et eget prosjekt hadde forskerne brukt 2D-bilder slik at et AI-synssystem gjort tilgjengelig gjennom Googles sky ville forveksle det med omtrent hva som helst. (Google har siden oppdatert algoritmen slik at den ikke blir lurt.)

Skilpadden ble ikke skapt av en nasjonalstatsmotstander, men av fire karer ved MIT. En av dem er Anish Athalye, en rank og veldig høflig ung mann som jobber med datasikkerhet i MITs Computer Science and Artificial Intelligence Laboratory (CSAIL). I en video på Athalyes bærbare datamaskin av skilpaddene som ble testet (noen av modellene ble stjålet på en konferanse, sier han), er den rotert 360 grader og snudd opp ned. Algoritmen oppdager det samme om og om igjen: rifle, rifle, rifle.

De tidligste motstridende eksemplene var sprø og utsatt for feil, men Athalye og vennene hans trodde de kunne designe en versjon som var robust nok til å fungere på et 3D-trykt objekt. Dette innebar å modellere en 3D-gjengivelse av objekter og utvikle en algoritme for å lage skilpadden, et motstridende eksempel som ville fungere i forskjellige vinkler og avstander. Enkelt sagt utviklet de en algoritme for å lage noe som pålitelig ville lure en maskinlæringsmodell.

De militære applikasjonene er åpenbare. Ved å bruke motstandsdyktig algoritmisk kamuflasje, kan tanks eller fly gjemme seg fra AI-utstyrte satellitter og droner. AI-styrte missiler kan bli blendet av motstridende data, og kanskje til og med styres tilbake mot vennlige mål. Informasjon matet inn i etterretningsalgoritmer kan bli forgiftet for å skjule en terrortrussel eller sette en felle for tropper i den virkelige verden.

Athalye er overrasket over hvor lite bekymring han har møtt over motstandsdyktig maskinlæring. Jeg har snakket med en haug med folk i industrien, og jeg spurte dem om de er bekymret for motstridende eksempler. Svaret er, nesten over hele linja, nei, sier han, ettersom selskaper er fokusert på å få AI-systemene til å fungere som deres toppprioritet.

Heldigvis begynner Pentagon å legge merke til det. I august kunngjorde Defense Advanced Research Projects Agency (DARPA) flere store AI-forskningsprosjekter. Blant dem er GARD, et program fokusert på motstridende maskinlæring. Hava Siegelmann, professor ved University of Massachusetts, Amherst, og programleder for GARD, sier at disse angrepene kan være ødeleggende i militære situasjoner fordi folk ikke kan identifisere dem. Det er som om vi er blinde, sier hun. Det er det som gjør det veldig farlig.

Utfordringene fra motstandsdyktig maskinlæring forklarer også hvorfor Pentagon er så opptatt av å jobbe med selskaper som Google og Amazon, så vel som akademiske institusjoner som MIT. Teknologien utvikler seg raskt, og de siste fremskrittene tar tak i laboratorier som drives av Silicon Valley-selskaper og toppuniversiteter, ikke konvensjonelle forsvarsentreprenører.

Det er avgjørende at de også skjer utenfor USA, spesielt i Kina. Jeg tror at en annen verden kommer, sier Kanaan, Air Force AI-eksperten. Og det er en vi må bekjempe med AI.

Tilbakeslaget mot militær bruk av AI er forståelig, men det kan gå glipp av det større bildet. Selv når folk bekymrer seg for intelligente morderroboter, er kanskje en større risiko på kort sikt en algoritmisk krigståke – en som selv de smarteste maskinene ikke kan se gjennom.

Will Knight var inntil nylig seniorredaktør for AI ved MIT Technology Review, og jobber nå i Wired.

gjemme seg