Programvare som bytter ut ord kan nå lure AI-en bak Alexa og Siri

Kategori: Kunstig intelligens Lagt ut 07. februar

Nyhetene: Programvare kalt TextFooler kan lure NLP-systemer (naturlig-language processing) til å misforstå tekst bare ved å erstatte visse ord i en setning med synonymer. I tester var den i stand til å redusere nøyaktigheten til tre toppmoderne NLP-systemer dramatisk. For eksempel var Googles kraftige BERT nevrale nett dårligere med en faktor på fem til syv når det gjaldt å identifisere om anmeldelser på Yelp var positive eller negative.

De testet angrepet på NLP-systemer som er trent til å utføre oppgaver som å identifisere nyhetsemner, oppdage falske nyheter og analysere følelser. I alle tilfeller, AI ble betydelig verre .

Hvordan det fungerer: Programvaren, utviklet av et team ved MIT, ser etter ordene i en setning som er viktigst for en NLP-klassifiserer og erstatter dem med et synonym som et menneske ville finne naturlig. For eksempel, endring av setningen Karakterene, castet i umulig utkonstruerte situasjoner, er totalt fremmedgjort fra virkeligheten til Karakterene, castet under umulig konstruerte omstendigheter, er fullstendig fremmedgjort fra virkeligheten, gjør ingen reell forskjell for hvordan vi leser den. Men justeringene gjorde at en AI tolket setningene helt annerledes.

Hvorfor det er viktig: Vi har sett mange eksempler på slike motstridende angrep, oftest med bildegjenkjenningssystemer, der små endringer i input kan flummoxe en AI og få den til å feilklassifisere det den ser. TextFooler viser at denne angrepsstilen også bryter NLP, AI bak virtuelle assistenter – som Siri, Alexa og Google Home – så vel som andre språkklassifiserere som spamfiltre og hatytringsdetektorer. Forskerne sier at verktøy som TextFooler kan bidra til å gjøre NLP-systemer mer robuste ved å avsløre svakhetene deres.