211service.com
AI-er som lærer forsterkning er sårbare for en ny type angrep
MIT TECHNOLOGY REVIEW / ADAM GLEAVE
Fotballroboten stiller opp for å ta et skudd mot målet. Men i stedet for å gjøre seg klar til å blokkere den, faller keeperen til bakken og vrikker med beina. Forvirret gjør angriperen en merkelig liten sidedans, stamper med føttene og vifter med den ene armen, og faller deretter om. 1-0 til målvakten.
Det er ikke en taktikk du vil se brukt av proffene, men den viser at en kunstig intelligens trent gjennom dyp forsterkningslæring - teknikken bak banebrytende spill-AI-er som AlphaZero og OpenAI Five - er mer sårbar for angrep enn tidligere tenkte. Og det kan få alvorlige konsekvenser.
Adam Gleave
I løpet av de siste årene har forskere funnet mange måter å bryte AI-er som er trent ved å bruke merkede data, kjent som overvåket læring. Små justeringer av en AIs inngang – for eksempel å endre noen få piksler i et bilde – kan gjøre det fullstendig flummoks, slik at det identifiserer et bilde av en dovendyr som en racerbil, for eksempel. Disse såkalte motstandsangrepene har ingen sikker løsning.
Sammenlignet med veiledet læring er forsterkende læring en relativt ny teknikk og har blitt studert mindre. Men det viser seg at det også er sårbart for doktorerte innspill. Forsterkende læring lærer en AI hvordan den skal oppføre seg i forskjellige situasjoner ved å gi den belønning for å gjøre det rette. Etter hvert lærer AI en handlingsplan, kjent som en policy. Retningslinjer lar AI-er spille spill, kjøre bil eller kjøre automatiserte handelssystemer.
I 2017 så Sandy Huang, som nå er i DeepMind, og hennes kolleger på en AI trent via forsterkning og lærte å spille det klassiske videospillet Pong. Det viste de Hvis du legger til en enkelt falsk piksel til bilder med videoinngang, vil det pålitelig tape . Nå har Adam Gleave ved University of California, Berkeley, tatt motstridende angrep til et annet nivå.
Gleave er ikke så bekymret for de fleste eksemplene vi har sett så langt. Jeg er litt skeptisk til at de er en trussel, sier han. Ideen om at en angriper skal ødelegge maskinlæringssystemet vårt ved å legge til en liten mengde støy virker ikke realistisk. Men i stedet for å lure en AI til å se noe som egentlig ikke er der, kan du endre hvordan ting rundt det fungerer. Med andre ord kan en kunstig intelligens som er trent ved hjelp av forsterkningslæring bli lurt av merkelig oppførsel. Gleave og hans kolleger kaller dette en motstandspolitikk. Det er en tidligere ukjent trusselmodell, sier Gleave.
Mister kontroll
På noen måter er motstridende retningslinjer mer bekymringsfulle enn angrep på overvåkede læringsmodeller, fordi retningslinjer for forsterkende læring styrer en AIs generelle oppførsel. Hvis en førerløs bil feilklassifiserer inndata fra kameraet, kan den falle tilbake på andre sensorer, for eksempel. Men saboter bilens kontrollsystem - styrt av en forsterkende læringsalgoritme - og det kan føre til katastrofe. Hvis policyer skulle implementeres uten å løse disse problemene, kan det være svært alvorlig, sier Gleave. Førerløse biler kan gå galt hvis de blir konfrontert med en fotgjenger som vinker med armene.
Gleave og kollegene hans brukte forsterkningslæring for å trene roboter med pinnefigurer til å spille en håndfull to-spiller-spill, inkludert å sparke en ball mot et mål, løpe over en linje og sumobryting. Robotene var klar over posisjonen og bevegelsen til lemmene og motstandernes.
Adam Gleave
De trente deretter et andre sett med roboter for å finne måter å utnytte den første, og denne andre gruppen oppdaget raskt motstandspolitikk. Teamet fant ut at motstanderne lærte å slå ofrene sine pålitelig etter å ha trent i mindre enn 3 % av tiden det tok ofrene å lære å spille kampene i utgangspunktet.
Motstanderne lærte å vinne ikke ved å bli bedre spillere, men ved å utføre handlinger som brøt motstandernes retningslinjer. I fotballkampen og løpekampen står motstanderen noen ganger aldri opp. Dette får offeret til å kollapse til en forvridd haug eller vrir seg rundt i sirkler. Dessuten presterte ofrene faktisk langt bedre når de var maskert og ute av stand til å se motstanderen i det hele tatt.
Forskningen, som skal presenteres på den internasjonale konferansen om læringsrepresentasjoner i Addis Abeba, Etiopia, i april, viser at politikk som virker robust kan skjule alvorlige feil. I dyp forsterkende læring evaluerer vi egentlig ikke retningslinjer på en omfattende nok måte, sier Gleave. En overvåket læringsmodell, opplært til å klassifisere bilder, for eksempel, testes på et annet datasett enn det den ble trent på for å sikre at den ikke bare har lagret en bestemt haug med bilder. Men med forsterkende læring trenes og testes modeller vanligvis i samme miljø. Det betyr at du aldri kan være sikker på hvor godt modellen vil takle nye situasjoner.
Den gode nyheten er at motstandspolitikk kan være lettere å forsvare seg mot enn andre motstridende angrep. Da Gleave finjusterte ofrene for å ta hensyn til den rare oppførselen til motstanderne deres, ble motstanderne tvunget til å prøve mer kjente triks, som å snuble motstanderne. Det er fortsatt skittent spill, men utnytter ikke en feil i systemet. Tross alt gjør menneskelige spillere det hele tiden.