211service.com
Hvordan ondsinnet maskinlæring kan avspore AI
Jeremy Portje
Kunstig intelligens vil ikke revolusjonere noe hvis hackere kan rote med det.
Det er advarselen fra Dawn Song , en professor ved UC Berkeley som spesialiserer seg på å studere sikkerhetsrisikoene forbundet med AI og maskinlæring.
Song talte på EmTech Digital, en begivenhet i San Francisco produsert av MIT Technology Review, og advarte om at nye teknikker for å sondere og manipulere maskinlæringssystemer – kjent i feltet som kontradiktoriske maskinlæringsmetoder – kan forårsake store problemer for alle som ønsker å utnytte kraften til AI i virksomheten.
Song sa at motstandsdyktig maskinlæring kunne brukes til å angripe omtrent alle system bygget på teknologien.
Det er et stort problem, sa hun til publikum. Vi må komme sammen for å fikse det.
Motstridende maskinlæring involverer eksperimentelt å mate input inn i en algoritme for å avsløre informasjonen den har blitt trent på, eller forvrenge input på en måte som får systemet til å oppføre seg feil. Ved å legge inn mange bilder i en datasynsalgoritme, for eksempel, er det mulig å reversere dens funksjon og sikre visse typer utdata, inkludert feil.
Song presenterte flere eksempler på kontradiktorisk læringslureri som forskningsgruppen hennes har utforsket.
Ett prosjekt, utført i samarbeid med Google, innebar sondering av maskinlæringsalgoritmer som var trent til å generere automatiske svar fra e-postmeldinger (i dette tilfellet Enron e-postdatasett ). Innsatsen viste at ved å lage de riktige meldingene er det mulig å få maskinmodellen til å spytte ut sensitive data som kredittkortnummer. Funnene ble brukt av Google for å forhindre at Smart Compose, verktøyet som automatisk genererer tekst i Gmail, blir utnyttet.
Et annet prosjekt innebar å modifisere veiskilt med noen få ufarlige klistremerker for å lure datasynssystemene som brukes i mange kjøretøy. I en videodemo viste Song hvordan bilen kunne bli lurt til å tro at et stoppskilt faktisk sier at fartsgrensen er 45 miles per time. Dette kan være et stort problem for et automatisert kjøresystem som er avhengig av slik informasjon.
Motstridende maskinlæring er et område med økende interesse for maskinlæringsforskere. I løpet av de siste par årene har andre forskningsgrupper vist hvordan online maskinlærings-APIer kan undersøkes og utnyttes for å finne måter å lure dem på eller for å avsløre sensitiv informasjon.
Ikke overraskende er motstandsdyktig maskinlæring også av stor interesse for forsvarssamfunnet. Med et økende antall militære systemer – inkludert sanse- og våpensystemer – som utnytter maskinlæring, er det et stort potensial for at disse teknikkene kan brukes både defensivt og offensivt.
I år lanserte Pentagons forskningsarm, DARPA, et stort prosjekt kalt Guaranteeing AI Robustness against Deception (GARD), med sikte på å studere motstridende maskinlæring. Hava Siegelman , direktør for GARD-programmet, fortalte nylig til MIT Technology Review at målet med dette prosjektet var å utvikle AI-modeller som er robuste i møte med et bredt spekter av motstandsangrep, i stedet for bare å kunne forsvare seg mot spesifikke.