211service.com
Verdens beste deepfake-artist kjemper med monsteret han skapte
Det er juni i Dalian, Kina, en by på en halvøy som stikker ut i Gulehavet noen hundre mil fra Beijing i den ene retningen og fra den nordkoreanske grensen i den andre. Hao Li står inne i en huleaktig, kantete bygning som lett kan være en Bond-skurkes hule. Ute er det svulmende vær, og sikkerheten er stram. World Economic Forums årlige konferanse er i byen.
I nærheten av Li bytter politikere og administrerende direktører fra hele verden på å gå inn i en messe. Innvendig ler de mens ansiktet deres forvandles til det til en kjent person: Bruce Lee, Neil Armstrong eller Audrey Hepburn. Trikset skjer i sanntid, og det fungerer nesten feilfritt.
Den bemerkelsesverdige ansiktsbyttemaskinen ble ikke satt opp bare for å avlede og underholde verdens rike og mektige. Li vil at disse mektige menneskene skal vurdere konsekvensene som videoer med kunstig intelligens – dype falske – kan ha for dem og for resten av oss.
Feilinformasjon har lenge vært et populært verktøy for geopolitisk sabotasje, men sosiale medier har injisert rakettdrivstoff i spredningen av falske nyheter. Når falske videoopptak er like enkle å lage som falske nyhetsartikler, er det en virtuell garanti for at det blir våpen. Vil du påvirke et valg, ødelegge karrieren og ryktet til en fiende, eller utløse etnisk vold? Det er vanskelig å forestille seg et mer effektivt kjøretøy enn et klipp som utseende autentisk, sprer seg som en ild i tørt gress gjennom Facebook, WhatsApp eller Twitter, raskere enn folk kan skjønne at de har blitt lurt.
Som en pioner innen digital forfalskning bekymrer Li at deepfakes bare er begynnelsen. Til tross for at han har hjulpet til med å innlede en epoke hvor øynene våre ikke alltid er til å stole på, ønsker han å bruke ferdighetene sine til å gjøre noe med det truende problemet med allestedsnærværende, nesten perfekt videobedrag.
Spørsmålet er om det allerede er for sent?
Omskriver virkeligheten
Li er ikke din typiske deepfaker. Han lurer ikke på Reddit legge ut falsk porno eller nyopptak av kjente filmer modifisert til stjernen Nicolas Cage . Han har brukt sin karriere på å utvikle banebrytende teknikker for å smi ansikter lettere og mer overbevisende. Han har også rotet med noen av de mest kjente ansiktene i verden for moderne storfilmer, og lurt millioner av mennesker til å tro på et smil eller et blunk som faktisk aldri var der. Han snakket over Skype fra kontoret sitt i Los Angeles en ettermiddag og nevner tilfeldig at Will Smith nylig var innom for en film han jobber med.
Skuespillere kommer ofte til Lis laboratorium ved University of Southern California (USC) for å få deres likhet digitalt skannet. De er plassert inne i en sfærisk rekke lys og maskinsynskameraer for å fange formen på ansiktet, ansiktsuttrykk og hudtone og tekstur ned til nivået av individuelle porer. Et spesialeffektteam som jobber med en film kan deretter manipulere scener som allerede er tatt, eller til og med legge til en skuespiller til en ny i etterproduksjon.
Med tillatelse fra Hao Li
Slikt digitalt bedrag er nå vanlig i filmer med store budsjetter. Bakgrunner gjengis ofte digitalt, og det er vanlig at en skuespillers ansikt limes inn på en stuntpersons i en actionscene. Det har ført til noen fantastiske øyeblikk for kinogjengere, som da en tenåringsprinsesse Leia kort dukket opp på slutten av Rogue One: A Star Wars Story , selv om skuespillerinnen som hadde spilt Leia, Carrie Fisher, var nesten 60 år da filmen ble spilt inn.
Å få disse effektene til å se bra ut krever normalt betydelig ekspertise og millioner av dollar. Men takket være fremskritt innen kunstig intelligens er det nå nesten trivielt å bytte to ansikter i en video, uten å bruke noe kraftigere enn en bærbar datamaskin. Med litt ekstra kunnskap kan du få en politiker, en administrerende direktør eller en personlig fiende til å si eller gjøre hva du vil (som i videoen øverst i historien, der Li kartla Elon Musks likhet på ansiktet mitt).
En historie med lureri
Personlig ser Li mer cyberpunk ut enn Sunset Strip. Håret hans er barbert til en Mohawk som faller ned på den ene siden, og han har ofte på seg en svart T-skjorte og skinnjakke. Når han snakker, har han en merkelig vane med å blunke på en måte som viser sene netter tilbrakt i den varme gløden fra en dataskjerm. Han er ikke sjenert for å hevde briljansen til teknologien hans, eller hva han har på gang. Under samtaler liker han å piske frem en smarttelefon for å vise deg noe nytt.
Med tillatelse fra Hao Li
Li vokste opp i Saarbrücken, Tyskland, sønn av taiwanske immigranter. Han gikk på en fransk-tysk videregående skole og lærte å snakke fire språk flytende (fransk, tysk, engelsk og mandarin). Han husker øyeblikket da han bestemte seg for å bruke tiden sin på å viske ut grensen mellom virkelighet og fantasi. Det var i 1993, da han så en enorm dinosaur-tømmer til syne i Steven Spielbergs Jurassic Park . Mens skuespillerne så på det datagenererte beistet, skjønte Li, som da var 12, hva teknologien nettopp hadde gjort mulig. Jeg innså at du nå i bunn og grunn kan lage hva som helst, også ting som ikke engang eksisterer, minnes han.
Li tok sin doktorgrad ved ETH Zürich, et prestisjefylt teknisk universitet i Sveits, hvor en av rådgiverne hans husker ham som både en strålende student og en uforbederlig skøyer. Videoer som fulgte med akademiske artikler inkluderte noen ganger mindre enn flatterende karikaturer av lærerne hans.
Paul Walkers brødre ga en mal for hans digitale likhet i Furious 7. Weta Digital
Kort tid etter at han begynte i USC, skapte Li ansiktssporingsteknologi som ble brukt til å lage en digital versjon av den avdøde skuespilleren Paul Walker for actionfilmen Rasende 7 . Det var en stor prestasjon, siden Walker, som døde i en bilulykke halvveis i skytingen, ikke hadde blitt skannet på forhånd, og karakteren hans trengte å dukke opp i så mange scener. Li sin teknologi ble brukt til å lime Walkers ansikt på kroppene til hans to brødre, som byttet på å opptre i hans sted i mer enn 200 scener.
Filmen, som spilte inn 1,5 milliarder dollar i billettkontoret, var den første som var så avhengig av en digitalt gjenskapt stjerne. Li nevner Walkers virtuelle rolle når han snakker om hvor bra videolureri blir. Selv kan jeg ikke si hvilke som er falske, sier han med en risting på hodet.
Så og si du
I 2009, mindre enn et tiår før deepfakes dukket opp, utviklet Li en måte å fange en persons ansikt i sanntid og bruke den til å betjene en virtuell dukke. Dette innebar å bruke de nyeste dybdesensorene og ny programvare for å kartlegge det ansiktet, og dets uttrykk, til en maske laget av deformerbart virtuelt materiale.
Et eksempel på markørbasert ansiktssporing. Faceware-teknologier
Viktigst, tilnærmingen fungerte uten behov for å legge til dusinvis av bevegelsessporingsmarkører til en persons ansikt, en standard industriteknikk for å spore ansiktsbevegelser. Li bidro til utviklingen av programvare kalt Faceshift, som senere skulle kommersialiseres som en universitetsspinoff. Selskapet ble kjøpt opp av Apple i 2015, og teknologien ble brukt til å lage Animoji-programvaren som lar deg gjøre deg om til en enhjørning eller en snakkende haug med bæsj på de nyeste iPhone-ene.
Li og studentene hans har publisert dusinvis av artikler om emner som avatarer som speiler hele kroppens bevegelser, svært realistisk virtuelt hår og simulert hud som strekker seg slik ekte hud gjør. De siste årene har gruppen hans trukket på fremskritt innen maskinlæring og spesielt dyp læring, en måte å trene datamaskiner til å gjøre ting ved å bruke et stort simulert nevralt nettverk. Forskningen hans har også blitt brukt på medisin, og har bidratt til å utvikle måter å spore svulster inne i kroppen på og modellere egenskapene til bein og vev.
I dag deler Li tiden sin mellom undervisning, rådgivning for filmstudioer og å drive en ny oppstart, Pinscreen. Selskapet bruker mer avansert AI enn det som ligger bak deepfakes for å lage virtuelle avatarer. Dens app gjør et enkelt bilde til en fotorealistisk 3D-avatar på noen få sekunder. Den bruker maskinlæringsalgoritmer som har blitt opplært til å kartlegge utseendet til et ansikt på en 3D-modell ved å bruke mange tusen stillbilder og tilsvarende 3D-skanninger. Prosessen er forbedret ved å bruke det som er kjent som generative adversarielle nettverk, eller GAN-er (som ikke brukes til de fleste deepfakes). Dette betyr at en algoritme produserer falske bilder mens en annen vurderer om de er falske, en prosess som gradvis forbedrer forfalskningen. Du kan få avataren din til å utføre dumme danser og prøve forskjellige antrekk, og du kan kontrollere avatarens ansiktsuttrykk i sanntid ved å bruke ditt eget ansikt via kameraet på smarttelefonen.
En tidligere ansatt, Iman Sadeghi, saksøker Pinscreen, med påstand om at den forfalsket en presentasjon av teknologien på SIGGRAPH-konferansen i 2017. MIT Technology Review har sett brev fra flere eksperter og SIGGRAPH-arrangører som avviser disse påstandene.
Pinscreen samarbeider med flere store klesforhandlere som ser teknologien deres som en måte å la folk prøve plagg uten å måtte besøke en fysisk butikk. Teknologien kan også være stor for videokonferanser, virtuell virkelighet og spill. Bare forestill deg en Fortnite-karakter som ikke bare ser ut som deg, men som også ler og danser på samme måte.
Avatarer laget med Pin Screen-appen. Med tillatelse fra Hao Li
Under den digitale dumheten ligger imidlertid en viktig trend: AI gjør raskt avansert bildemanipulering til smarttelefonens provins i stedet for skrivebordet. FaceApp , utviklet av et selskap i Saint Petersburg, Russland, har trukket millioner av brukere, og nylig kontrovers, ved å tilby en ett-klikks måte å endre et ansikt på telefonen din på. Du kan legge til et smil på et bilde, fjerne flekker eller rote med din alder eller kjønn (eller noen andres). Dusinvis flere apper tilbyr lignende manipulasjoner ved å klikke på en knapp.
Ikke alle er begeistret for muligheten for at denne teknologien skal bli allestedsnærværende. Li og andre prøver i bunn og grunn å lage ettbilde, mobil og sanntidsdeepfakes, sier Sam Gregory, direktør for Witness, en ideell organisasjon med fokus på video og menneskerettigheter. Det er trusselnivået som bekymrer meg når det [blir] noe som er mindre lett å kontrollere og mer tilgjengelig for en rekke aktører.
Heldigvis ser de fleste deepfakes fortsatt litt dårlig ut. Et flimrende ansikt, et skjevt øye eller en merkelig hudtone gjør dem lette nok å oppdage. Men akkurat som en ekspert kan fjerne slike feil, lover fremskritt innen AI å jevne dem ut automatisk, noe som gjør de falske videoene både enklere å lage og vanskeligere å oppdage.
Selv når Li løper videre med digital forfalskning, er han også bekymret over potensialet for skade. Vi sitter foran et problem, sier han.
Å fange bedragere
Amerikanske politikere er spesielt bekymret for hvordan deepfakes kan brukes til å spre mer overbevisende falske nyheter og feilinformasjon foran neste års presidentvalg. Tidligere denne måneden spurte House Intelligence Committee Facebook, Google og Twitter hvordan de planla å håndtere trusselen om dype forfalskninger. Hvert selskap sa at de jobbet med problemet, men ingen tilbød en løsning.
DARPA, det amerikanske militærets velfinansierte forskningsbyrå, er også bekymret for økningen av digital manipulasjon. I 2016, før deepfakes ble en ting, lanserte DARPA et program kalt Media Forensics, eller MediFor, for å oppmuntre digitale etterforskningseksperter til å utvikle automatiserte verktøy for å fange manipulerte bilder. En menneskelig ekspert kan bruke en rekke metoder for å oppdage fotografiske forfalskninger, fra å analysere inkonsekvenser i en fils data eller egenskapene til spesifikke piksler til å lete etter fysiske inkonsekvenser som en feilplassert skygge eller en usannsynlig vinkel.
MediFor er nå i stor grad fokusert på å oppdage deepfakes. Deteksjon er grunnleggende vanskeligere enn å lage fordi AI-algoritmer kan lære å skjule ting som gir forfalskninger bort. Tidlige deepfake-deteksjonsmetoder inkluderer sporing av unaturlig blinking og rare leppebevegelser. Men de siste deepfakes har allerede lært å jevne ut slike feil automatisk.
Tidligere i år ba Matt Turek, DARPA-programleder for MediFor, Li om å demonstrere forfalskningene sine til MediFor-forskerne. Dette førte til et samarbeid med Hany Farid, professor ved UC Berkeley og en av verdens fremste myndigheter på digital etterforskning. Paret er nå engasjert i et digitalt spill med katt-og-mus, hvor Li utvikler dype forfalskninger som Farid kan fange, og deretter foredler dem for å unngå oppdagelse.
Farid, Li og andre nylig gitt ut et papir skisserer en ny, kraftigere måte å oppdage dype forfalskninger. Det avhenger av å trene en maskinlæringsalgoritme for å gjenkjenne særegenhetene til en spesifikk persons ansiktsuttrykk og hodebevegelser. Hvis du bare limer inn noens likhet på et annet ansikt, vil disse funksjonene ikke bli overført. Det vil kreve mye datakraft og treningsdata – det vil si bilder eller video av personen – for å lage en dypfalsk som inneholder disse egenskapene. Men en dag vil det være mulig. Tekniske løsninger vil fortsette å bli bedre på den defensive siden, sier Turek. Men vil det være perfekt? Det tviler jeg på.
Perfekt piksel
Tilbake i Dalian er det tydelig at folk begynner å våkne opp til faren for deepfakes. Morgenen før jeg møtte Li, hadde en europeisk politiker gått inn i ansiktsbyttebåsen, bare for at omsorgspersonene hans skulle stoppe ham. De var bekymret for at systemet kunne fange likheten hans i detalj, og gjøre det lettere for noen å lage falske klipp av ham.
En Pinscreen-ansatt demonstrerer et live face-swap-system på World Economic Forums konferanse i Dalian, Kina i juli. Med tillatelse fra Hao Li
Mens han ser på folk som bruker standen, forteller Li meg at det ikke er noen teknisk grunn til at deepfakes skal kunne oppdages. Videoer er bare piksler med en viss fargeverdi, sier han.
Å gjøre dem perfekte er bare et spørsmål om tid og ressurser, og som samarbeidet hans med Farid viser, blir det lettere hele tiden. Vi er vitne til et våpenkappløp mellom digitale manipulasjoner og evnen til å oppdage dem, sier han, med fremskritt av AI-baserte algoritmer som katalyserer begge sider.
Den dårlige nyheten, tror Li, er at han til slutt vil vinne. Om noen år, regner han med, kan uoppdagbare dype forfalskninger opprettes med et klikk. Når det punktet kommer, sier han, må vi være klar over at ikke hver video vi ser er sann.