211service.com
AI Fight Club kan hjelpe oss med å redde oss fra en fremtid med supersmarte cyberangrep
John Malta
En ny konkurranse varsler det som sannsynligvis vil bli fremtiden for cybersikkerhet og cyberkrigføring, med offensive og defensive AI-algoritmer som kjemper.
De konkurranse , som skal spilles i løpet av de neste fem månedene, drives av Kaggle , en plattform for datavitenskapskonkurranser. Det vil sette forskernes algoritmer opp mot hverandre i forsøk på å forvirre og lure hverandre, og håpet er at denne kampen vil gi innsikt i hvordan man kan herde maskinlæringssystemer mot fremtidige angrep.
Det er en glimrende idé å katalysere forskning på både å lure dype nevrale nettverk og designe dype nevrale nettverk som ikke lar seg lure, sier Jeff Clune , en assisterende professor ved University of Wyoming som studerer grensene for maskinlæring.
Konkurransen vil ha tre komponenter. En utfordring vil innebære å bare prøve å forvirre et maskinlæringssystem slik at det ikke fungerer som det skal. En annen vil innebære å prøve å tvinge et system til å klassifisere noe feil. Og en tredje vil innebære å utvikle det mest robuste forsvaret. Resultatene vil bli presentert på en større AI-konferanse senere i år.
Maskinlæring, og spesielt dyp læring, er raskt i ferd med å bli et uunnværlig verktøy i mange bransjer. Teknologien innebærer å mate data inn i en spesiell type dataprogram, spesifisere et bestemt utfall, og la en maskin utvikle sin egen algoritme for å oppnå resultatet. Dyplæring gjør dette ved å justere parametrene til et enormt, sammenkoblet nett av matematisk simulerte nevroner.
Det har lenge vært kjent at maskinlæringssystemer kan lures. Spammere kan for eksempel unngå moderne spamfiltre ved å finne ut hvilke mønstre filterets algoritme har blitt opplært til å identifisere.
De siste årene har imidlertid forskere vist at selv de smarteste algoritmene noen ganger kan bli villedet på overraskende måter. For eksempel dyplæringsalgoritmer med nesten menneskelige ferdigheter til å gjenkjenne objekter i bilder kan bli lurt ved tilsynelatende abstrakte eller tilfeldige bilder som utnytter mønstrene på lavt nivå disse algoritmene ser etter (se The Dark Secret at the Heart of AI).
Motstridende maskinlæring er vanskeligere å studere enn konvensjonell maskinlæring - det er vanskelig å si om angrepet ditt er sterkt eller om forsvaret ditt faktisk er svakt, sier Ian Goodfellow, en forsker ved Google Brain , en avdeling av Google dedikert til å forske på og bruke maskinlæring, som organiserte konkurransen.
Ettersom maskinlæring blir gjennomgripende, er frykten at slike angrep kan brukes for profitt eller ren ugagn. Det kan være mulig for hackere å unngå sikkerhetstiltak for å installere skadelig programvare, for eksempel.
Datasikkerhet beveger seg definitivt mot maskinlæring, sier Goodfellow. De slemme gutta vil bruke maskinlæring for å automatisere angrepene sine, og vi vil bruke maskinlæring for å forsvare.
I teorien kan kriminelle også lamme stemme- og ansiktsgjenkjenningssystemer, eller til og med sette opp plakater for å lure synssystemene i selvkjørende biler, og få dem til å krasje.
Kaggle har blitt en uvurderlig grobunn for algoritmeutvikling, og et arnested for talentfulle dataforskere. Selskapet ble kjøpt opp av Google i mars og er nå en del av Google Cloud-plattformen. Goodfellow og en annen Google Brain-forsker, Alexey Kurakin, sendte inn ideen til utfordringen før oppkjøpet.
Benjamin Hamner, Kaggles medgründer og CTO, sier han håper konkurransen vil trekke oppmerksomhet til et truende problem. Etter hvert som maskinlæring blir mer utbredt, blir det stadig viktigere å forstå problemene og risikoene ved motstridende læring, sier han.
Fordelene med den åpne konkurransen oppveier enhver risiko forbundet med å publisere nye typer angrep, legger han til: Vi mener at denne forskningen best lages og deles åpent, i stedet for bak lukkede dører.
Clune sier i mellomtiden at han er opptatt av at konkurransen skal teste algoritmer som visstnok tåler angrep. Pengene mine ligger på at nettverkene fortsetter å bli lurt i overskuelig fremtid, sier han.