211service.com
Denne algoritmen oppdager automatisk ansiktsbytte i videoer
Muligheten til å ta en persons ansikt eller uttrykk og legge det over på en video av en annen person har nylig blitt mulig. Spesielt har det dukket opp pornografiske videoer kalt deepfakes på nettsteder som Reddit og 4Chan som viser kjente personers ansikter lagt over kroppen til skuespillere.
Dette fenomenet har betydelige implikasjoner. I det minste har det potensial til å undergrave omdømmet til mennesker som er ofre for denne typen forfalskning. Det skaper problemer for biometriske ID-systemer. Og det truer med å undergrave offentlig tillit til videoer av noe slag.
Så en rask og nøyaktig måte å oppdage disse videoene er desperat nødvendig.
Hvilke av disse bildeparene er forfalskninger? Svar nedenfor.
Gå inn Andreas Rossler ved det tekniske universitetet i München i Tyskland og kolleger, som har utviklet et dyplæringssystem som automatisk kan se videoer med ansiktsbytte. Den nye teknikken kan bidra til å identifisere forfalskede videoer når de legges ut på nettet.
Men verket har også brodd i halen. Den samme dyplæringsteknikken som kan oppdage videoer med ansiktsbytte, kan også brukes til å forbedre kvaliteten på ansiktsbytte – og det kan gjøre dem vanskeligere å oppdage.
Den nye teknikken er avhengig av en dyp-læringsalgoritme som Rossler og co har trent opp til å oppdage ansiktsbytte. Disse algoritmene kan bare lære av enorme annoterte datasett med gode eksempler, som rett og slett ikke har eksistert før nå.
Så teamet begynte med å lage et stort datasett med videoer med ansiktsbytte og originalene deres. De bruker to typer ansiktsbytter som enkelt kan gjøres ved hjelp av programvare kalt Face2Face. (Denne programvaren ble laget av noen medlemmer av dette teamet.)
Den første typen ansiktsbytte legger en persons ansikt over en annens kropp, slik at den tar på seg uttrykkene deres. Den andre tar uttrykkene fra ett ansikt og endrer et annet ansikt for å vise dem.
Teamet har gjort dette med over 1000 videoer, og laget en database med omtrent en halv million bilder der ansiktene er blitt manipulert med toppmoderne ansiktsredigeringsprogramvare. De kalte dette FaceForensics-databasen.
Størrelsen på denne databasen er en betydelig forbedring i forhold til det som tidligere hadde vært tilgjengelig. Vi introduserer et nytt datasett med manipulerte videoer som overskrider alle eksisterende offentlig tilgjengelige rettsmedisinske datasett i størrelsesordener, sier Rossler og co.
Deretter bruker teamet databasen til å trene en dyplæringsalgoritme for å gjenkjenne forskjellen mellom ansiktsbytte og deres uforfalskede originaler. De kaller den resulterende algoritmen XceptionNet.
Til slutt sammenligner de den nye tilnærmingen med andre forfalskningsdeteksjonsteknikker.
Resultatene er imponerende. XceptionNet utkonkurrerer klart andre teknikker når det gjelder å oppdage videoer som har blitt manipulert, selv når videoene har blitt komprimert, noe som gjør oppgaven betydelig vanskeligere. Vi setter en sterk baseline for resultater for å oppdage en ansiktsmanipulasjon med moderne dyplæringsarkitekturer, sier Rossler og co.
Det burde gjøre det lettere å oppdage forfalskede videoer når de lastes opp til nettet. Men teamet er godt klar over katt-og-mus-naturen til forfalskningsoppdagelse: Så snart en ny oppdagelsesteknikk dukker opp, begynner løpet å finne en måte å lure den på.
Rossler og co har et naturlig forsprang siden de utviklet XceptionNet. Så de bruker den til å oppdage de avslørende tegnene på at en video har blitt manipulert, og bruker deretter denne informasjonen til å avgrense forfalskningen, noe som gjør den enda vanskeligere å oppdage.
Det viser seg at denne prosessen forbedrer den visuelle kvaliteten på forfalskningen, men at den ikke har mye effekt på XceptionNets evne til å oppdage den. Raffinøren vår forbedrer hovedsakelig den visuelle kvaliteten, men den begrenser bare i liten grad forfalskningsdeteksjon for dyplæringsmetoden som er trent nøyaktig på de forfalskede utdataene, sier de.
Det er interessant arbeid siden det introduserer en helt ny måte å forbedre prosessen med bildemanipulering. Vi mener at dette samspillet mellom tukling og oppdagelse er en ekstremt spennende vei for oppfølgingsarbeid, sier de.
Ref: arxiv.org/abs/1803.09179 : FaceForensics: Et storskala videodatasett for forfalskningsdeteksjon i menneskelige ansikter
Svar: Det øverste bildet i hvert par er ekte.