Facebook lager sine egne AI-deepfakes for å avverge en desinformasjonskatastrofe

Side-by-side bilder av original video og deepfake.

Side-by-side bilder av original video og deepfake. Facebook





Facebook frykter at AI-genererte dypfalske videoer kan være den neste store kilden til viral feilinformasjon – som spres blant brukerne med potensielt katastrofale konsekvenser for det neste amerikanske presidentvalget.

Dens løsning? Lage mange egne deepfakes for å hjelpe forskere med å bygge og avgrense deteksjonsverktøy.

Facebook har instruert sitt team av AI-forskere til å produsere en rekke svært realistiske falske videoer som viser skuespillere som gjør og sier rutinemessige ting. Disse klippene vil tjene som et datasett for testing og benchmarking av deepfake-deteksjonsverktøy. Facebook-deepfakes vil bli utgitt på en stor AI-konferanse på slutten av året.



Fremveksten av deepfakes har vært drevet av nyere fremskritt innen maskinlæring. Det har lenge vært mulig for filmstudioer å manipulere bilder og video med programvare og datamaskiner, og algoritmer som er i stand til å fange og gjenskape en persons likhet har allerede blitt brukt til å lage pek-og-klikk-verktøy for å lime inn en persons ansikt på noen andre. .

Det finnes metoder for å oppdage forfalskede medier, men de involverer ofte grundige ekspertanalyser. Verktøy for å fange dype falske automatisk er bare så vidt dukket opp.

Facebooks CTO, Mike Schroepfer, sier deepfakes går raskt frem, så det er viktig å finne mye bedre måter å flagge eller blokkere potensielle forfalskninger på.



Vi har ikke sett på dette som et stort problem på plattformene våre ennå, men min antagelse er at hvis du øker tilgangen – gjør det billigere, enklere, raskere å bygge disse tingene – øker det helt klart risikoen for at folk vil bruke dette på en ondsinnet måte, Schroepfer , som står i spissen for initiativet, sa i går kveld. Jeg ønsker ikke å være i en situasjon der dette er et enormt problem, og vi har ikke investert enorme beløp i FoU.

Ved å sammenligne innsatsen med kampen mot spam-e-post, sa Schroepfer at Facebook kanskje ikke er i stand til å fange opp de mest sofistikerte forfalskningene. Vi skal fange de åpenbare, sa han. Men han sa at Facebook ikke bruker noen metoder ennå fordi forfalskningene forbedres så raskt.

Det sosiale nettverket vil dedikere 10 millioner dollar til å finansiere deteksjonsteknologien gjennom tilskudd og utfordringspremier. Sammen med Microsoft har Partnerskap om AI , og akademikere fra institusjoner inkludert MIT, UC Berkeley og Oxford University, lanserer selskapet Deepfake Detection Challenge , som vil tilby uspesifiserte kontantbelønninger for de beste deteksjonsmetodene.



Å lage en deepfake krever vanligvis to videoklipp. Algoritmer lærer utseendet til hvert ansikt for å lime det inn på det andre mens du beholder hvert smil, blunk og nikk. Ulike AI-teknikker kan også brukes til å gjenskape en bestemt persons stemme. Begrepet deepfake er hentet fra en Reddit-bruker som ga ut et slikt verktøy i 2017. Det refererer til dyp læring, AI-teknikken som brukes.

En av de store bekymringene er at deepfakes kan brukes til å spre svært smittsom feilinformasjon under neste års amerikanske valg, kanskje til og med påvirke utfallet. Flere amerikanske senatorer har slått alarm om trusselen, og Ben Sasse (R–Nebraska) introduserte et lovforslag for å gjøre det ulovlig å lage eller distribuere deepfakes med ondsinnet hensikt. En nylig rapportere om feilinformasjon om valg fra NYU identifiserer deepfakes som en av flere nøkkelutfordringer for valget i 2020.

Manipulerte videoer spres allerede på sosiale plattformer, faktisk. Tidligere i år spredte et klipp som så ut til å vise Nancy Pelosi sludre talen hennes (laget ganske enkelt ved å bremse opp opptakene) raskt over Facebook. Selskapet nektet å fjerne det innlegget eller en dyp forfalskning av Mark Zuckerberg, og valgte i stedet å flagge klippene som falske med faktasjekkende organisasjoner.



Det er fornuftig for Facebook å prøve å komme seg ut i forkant av saken, spesielt etter nedfallet fra forrige presidentvalg. Da detaljer om politiske feilinformasjonskampanjer dukket opp, møtte Facebook intens kritikk for å la slik propaganda spre seg.

Å fremme deepfake-utfordringen kan imidlertid ha utilsiktede konsekvenser. Henry Ajder, analytiker ved Deeptrace, et nederlandsk selskap som jobber med verktøy for å oppdage forfalskede klipp, bemerker at fortellingen rundt deepfakes kan tilby en måte for politikere å unngå ansvarlighet ved å hevde at ekte informasjon har blitt forfalsket (se Fake America great again ). Bare ideen om deepfakes skaper allerede mange problemer, sier Ajder. Det er et virus i den politiske sfæren som har infisert hodet til politikere og innbyggere.

Dessuten, til tross for alarmen, tviler Ajder, som sporer dype forfalskninger i naturen, på at teknologien vil bli bevæpnet for politiske formål en stund. Han tror det mer umiddelbart vil bli et potent verktøy for cyber-stalking og mobbing.

Noen få metoder for å oppdage deepfakes finnes allerede. Enkle teknikker innebærer å analysere dataene i en videofil eller se etter avslørende munnbevegelser og blinking, noe som er vanskeligere for en algoritme å fange opp og gjenskape.

En metode utviklet nylig av en gruppe ledende eksperter innebærer å trene en dyplæringsalgoritme for å gjenkjenne den spesifikke måten en persons hode beveger seg på, siden dette ikke er noe algoritmer vanligvis lærer.

Denne tilnærmingen kom til gjennom et annet forsøk på å utvikle deteksjonsverktøy , som blir finansiert av Defense Advanced Research Projects Agency (DARPA).

Mange eksperter har blitt overrasket og skremt over hastigheten som AI-forfalskninger utvikler seg med. Bare denne uken utløste en kinesisk app kalt Zao debatt ved å legge ut dypt falske videoer som angivelig er laget fra et stillbilde. Hao Li , en visuell effektkunstner og en førsteamanuensis ved University of Southern California, har advart om at det kan være mulig å masseprodusere uoppdagelige deepfakes om ikke lenge (se Verdens beste deepfake-artist kjemper med monsteret han skapte ).

gjemme seg