Inne i den merkelige nye verdenen av å være en dypt falsk skuespiller

Panetta og Burgund

I 2019 satte to multimediekunstnere, Francesca Panetta og Halsey Burgund, i gang med å forfølge en provoserende idé. Deepfake video og lyd hadde utviklet seg parallelt, men hadde ennå ikke blitt integrert i en komplett opplevelse. Kunne de gjøre det på en måte som demonstrerte teknologiens fulle potensial samtidig som de utdannet folk om hvordan den kan misbrukes?

For å bringe eksperimentet til live, valgte de et like provoserende emne: de ville lage en alternativ historie om Apollo-månelandingen i 1969 . Før lanseringen hadde den amerikanske presidenten Richard Nixons taleskrivere utarbeidet to versjoner av nasjonaltalen hans – en utpekt I tilfelle månekatastrofe , i tilfelle ting ikke gikk som planlagt. Den ekte Nixon trengte heldigvis aldri å levere den. Men en dypfalsk Nixon kunne.

Så Panetta, den kreative direktøren ved MITs Center for Virtuality, og Burgund, en stipendiat ved MIT Open Documentary Lab, gikk sammen med to AI-selskaper. Canny AI ville håndtere deepfake-videoen, og Referent ville forberede deepfake-lyden. Med alle de tekniske komponentene på plass, trengte de bare en siste ting: en skuespiller som skulle levere forestillingen.

Vi trengte å finne noen som var villig til å gjøre dette, for det er litt rart å spørre, sier Burgund. Noen som var mer fleksible i sine tanker om hva en skuespiller er og gjør.

Mens deepfakes nå har eksistert i en årrekke, er deepfake casting og skuespill relativt nytt. Tidlige deepfake-teknologier var ikke særlig gode, de ble først og fremst brukt i mørke hjørner av internett for å bytte kjendiser til pornovideoer uten deres samtykke. Men ettersom deepfakes har blitt stadig mer realistiske, har flere og flere artister og filmskapere begynt å bruke dem i produksjoner av kringkastingskvalitet og TV-annonser. Dette betyr å ansette ekte skuespillere for ett eller annet aspekt av forestillingen. Noen jobber krever at en skuespiller leverer basisopptak; andre trenger en stemme.

For skuespillere åpner det for spennende kreative og profesjonelle muligheter. Men det reiser også en rekke etiske spørsmål. Dette er så nytt at det ikke er noen reell prosess eller noe sånt, sier Burgund. Jeg mener, vi bare fant opp ting og flakset rundt.

Vil du bli Nixon?

Det første Panetta og Burgund gjorde var å spørre begge selskapene hva slags skuespiller de trengte for å få deepfakes til å fungere. Det var interessant ikke bare hva som var de viktige kriteriene, men også hva var det ikke , sier Burgundy.

For det visuelle spesialiserer Canny AI seg på erstatning av videodialog, som bruker en skuespillers munnbevegelser for å manipulere en annens munn i eksisterende opptak. Skuespilleren fungerer med andre ord som en dukkespiller, for aldri å bli sett i sluttproduktet. Personens utseende, kjønn, alder og etnisitet spiller ingen rolle.

Men for lyden sa Respeecher, som forvandler en stemme til en annen, at det ville være lettere å jobbe med en skuespiller som hadde et lignende register og aksent som Nixons. Bevæpnet med den kunnskapen begynte Panetta og Burgund å poste på forskjellige skuespillerfora og sende e-post til lokale skuespillergrupper. Deres pitch: Vil du bli Nixon?

Skuespilleren Lewis D. Wheeler tilbrakte dager i studioet med å trene de dypfalske algoritmene for å kartlegge stemmen hans og ansiktet til Nixons.

PANETTA OG BURGUNDY

Dette er hvordan Lewis D. Wheeler, en Boston-basert hvit mannlig skuespiller, befant seg i et studio i flere dager mens han lyttet til og gjentok utdrag av Nixons lyd. Det var hundrevis av utdrag, hver bare noen få sekunder lang, noen av dem var ikke engang komplette ord, sier han.

Utdragene var hentet fra forskjellige Nixon-taler, mye av det fra hans oppsigelse. Gitt den alvorlige naturen til månekatastrofetalen, trengte Respeecher opplæringsmateriell som fanget den samme dystre tonen.

Wheelers jobb var å spille inn hver snutt på nytt med sin egen stemme, og matche den nøyaktige rytmen og intonasjonen. Disse små bitene ble deretter matet inn i Respeechers algoritme for å kartlegge stemmen hans til Nixons. Det var ganske utmattende og ganske møysommelig, sier han, men veldig interessant også å bygge det murstein for murstein.

Den siste deepfake av Nixon som holdt talen 'In Event of Moon Disaster.'

PANETTA OG BURGUNDY

Den visuelle delen av deepfake var mye mer grei. I arkivopptakene som ville bli manipulert, hadde Nixon levert den virkelige månelandingsadressen rett vendt mot kameraet. Wheeler trengte bare å levere sin alternative, start til slutt, på samme måte, for at produksjonsteamet skulle fange munnbevegelsene hans i riktig vinkel.

Det var her han som skuespiller begynte å finne ting mer kjent. Til syvende og sist ville opptredenen hans være den ene delen av ham som ville komme inn i den endelige deepfake. Det var det mest utfordrende og mest givende, sier han. For det måtte jeg virkelig sette meg inn i tankegangen om, ok, hva handler denne talen om? Hvordan forteller du det amerikanske folket at denne tragedien har skjedd?

Hvordan føler vi det?

På forsiden av det, Zach Math, en filmprodusent og regissør , jobbet med et lignende prosjekt. Han hadde blitt ansatt av Mischief USA, et kreativt byrå, til å regissere et par annonser for en stemmerettskampanje. Annonsene vil inneholde dyptfalskede versjoner av Nord-Koreas leder Kim Jong-un og Russlands president Vladimir Putin. Men han havnet midt i noe helt annet enn Panetta og Burgunds eksperiment.

I samråd med en deepfake artist, John Lee, hadde teamet valgt å gå ansiktsbytteruten med åpen kildekode-programvaren DeepFaceLab . Det betydde at den endelige annonsen ville inkludere skuespillernes kropper, så de måtte spille troverdige kroppsdobler.

Annonsen vil også inkludere skuespillernes virkelige stemmer, og legge til en ekstra rollebesetning. Teamet ønsket at de dypfalske lederne skulle snakke på engelsk, men med autentiske nordkoreanske og russiske aksenter. Så casting-direktøren gikk på jakt etter mannlige skuespillere som lignet hver leder i bygning og ansiktsstruktur, matchet deres etnisitet og kunne gjøre overbevisende stemmeetterligninger.

Prosessen med å trene DeepFaceLab for å generere Kim Jong-uns ansikt.

SKADE USA

For Putin var casting-prosessen relativt enkel. Det er en overflod av tilgjengelige opptak av Putin som holder forskjellige taler, og gir algoritmen rikelig med treningsdata for å forfalske ansiktet hans med en rekke uttrykk. Følgelig ble det mer fleksibilitet i hvordan skuespilleren kunne se ut, fordi deepfaken kunne gjøre det meste av jobben.

Men for Kim viste de fleste tilgjengelige videoer ham med briller, noe som skjulte ansiktet hans og fikk algoritmen til å bryte sammen. Ved å begrense treningsopptakene til kun videoene uten briller, ble det langt færre treningsprøver å lære av. Den resulterende deepfake så fortsatt ut som Kim, men ansiktsbevegelsene hans så mindre naturlige ut. Ansiktet byttet inn på en skuespiller, dempet skuespillerens uttrykk.

For å motvirke det, begynte teamet å kjøre alle skuespillernes casting-kassetter gjennom DeepFaceLab for å se hvilken som så mest overbevisende ut. Til deres overraskelse så vinneren minst ut som Kim fysisk, men hadde den mest uttrykksfulle prestasjonen.

Skuespilleren som ble valgt til å spille Kim Jong-un hadde minst fysisk likhet med diktatoren, men den mest uttrykksfulle prestasjonen.

For å ta tak i aspektene ved Kims utseende som deepfake ikke kunne gjenskape, stolte teamet på sminke, kostymer og postproduksjonsarbeid. Skuespilleren var for eksempel slankere enn Kim, så de lot ham ha på seg en fet dress.

Når det kom ned til å bedømme kvaliteten på deepfake, sier Math, handlet det mindre om de visuelle detaljene og mer om opplevelsen. Det var aldri «Ser det øret rart ut?» Jeg mener, det var de diskusjonene, sier han. Men det var alltid sånn «len deg tilbake – hvordan har vi det?»

De fungerte effektivt som et menneskelig skjold

På noen måter er det liten forskjell mellom deepfake-skuespill og CGI-skuespill, eller kanskje stemmeskuespill for en tegneserie. Din likhet kommer ikke med i den endelige produksjonen, men resultatet har fortsatt din signatur og tolkning. Men deepfake-casting kan også gå den andre veien, med en persons ansikt byttet inn i en annens opptreden.

Å gjøre denne typen falske overbevisende var oppgaven til Ryan Laney, en visuell effektartist som jobbet med HBO-dokumentaren fra 2020 Velkommen til Tsjetsjenia . Filmen følger aktivister som risikerer livet for å bekjempe forfølgelsen av LHBTQ-individer i den russiske republikken. Mange av dem lever i hemmelighet av frykt for tortur og henrettelse.

For å fortelle historiene deres, lovet regissør David France å beskytte identiteten deres, men han ønsket å gjøre det uten å miste menneskeheten deres. Etter å ha testet ut en rekke løsninger, landet teamet hans til slutt på deepfakes. Han inngikk et samarbeid med Laney, som utviklet en algoritme som overlappet det ene ansiktet på det andre mens de beholdt sistnevntes uttrykk.

Til venstre: Maxim Lapunov, hovedpersonen i dokumentaren som blir offentlig halvveis i filmen. Til høyre: en latino LHBTQ-aktivist som meldte seg frivillig til å være Maxims skjold.

MEDIA DINE

Casting-prosessen var dermed ikke et søk etter artister, men etter 23 personer som ville være villige til å låne ut ansiktene sine. Frankrike ba til slutt LHBTQ-aktivister om å melde seg frivillig som dekker. Han kom på det fra ikke hvem som er den beste skuespilleren, men hvem som er personene som er interessert i saken, sier Laney, fordi de effektivt fungerte som et menneskelig skjold.

Teamet speidet aktivistene gjennom arrangementer og Instagram-poster, basert på deres utseende. Hvert dekkansikt måtte se tilstrekkelig forskjellig ut fra personen som ble maskert, samtidig som de tilpasset seg visse egenskaper. Ansiktshår, kjevelinjer og neselengde måtte for eksempel passe tilnærmet, og hvert par måtte være omtrent like gamle for at dekkpersonens ansikt skulle se naturlig ut på den originale motivets kropp.

Til venstre: Maxims avmaskerte ansikt. Til høyre: Maxim med deepfake-coveret sitt.

MEDIA DINE

Laget samsvarte imidlertid ikke alltid med etnisitet eller kjønn. Hovedpersonen, Maxim Lapunov, som er hvit, ble skjermet av en latino-aktivist, og en kvinnelig karakter ble skjermet av en aktivist som ikke er kjønnskonform.

Gjennom hele prosessen sørget Frankrike og Laney for å få fullt informert samtykke fra alle parter. Motivene til filmen fikk faktisk se på verket før David ga det ut, sier Laney. Alle måtte signere på sitt eget omslag for å sikre at de følte seg komfortable.

Det får folk bare til å tenke

Mens profesjonaliserte deepfakes har flyttet grensene for kunst og kreativitet, reiser deres eksistens også vanskelige etiske spørsmål. Det er foreløpig ingen reelle retningslinjer for hvordan man kan merke for eksempel dypfalske, eller hvor grensen går mellom satire og feilinformasjon.

Foreløpig stoler kunstnere og filmskapere på en personlig følelse av rett og galt. France og Laney la for eksempel til en ansvarsfraskrivelse i starten av dokumentaren om at noen karakterer hadde blitt digitalt forkledd for å beskytte dem. De la også myke kanter til de maskerte individene for å skille dem. Vi ville ikke skjule noen uten å fortelle det til publikum, sier Laney.

Stephanie Lepp, en artist og produsent som lager dype forfalskninger for politiske kommentarer, markerer på samme måte videoene sine på forhånd for å gjøre det klart at de er falske. I serien hennes Deep Reckonings , som forestiller mektige skikkelser som Mark Zuckerberg som ber om unnskyldning for handlingene sine, brukte hun også stemmeskuespillere i stedet for dypfalsk lyd for ytterligere å skille prosjektet ut som satirisk og ikke villedende.

Andre prosjekter har vært mer kjedelige, for eksempel de til Barnaby Francis, en kunstneraktivist som jobber under pseudonymet Bill Posters. I løpet av årene har Francis deepfaket politikere som Boris Johnson og kjendiser liker Kim Kardashian , alt i utdanningens og satirens navn. Noen av videoene er imidlertid bare merket eksternt – for eksempel i bildeteksten når Francis legger dem ut på Instagram. Trekkes de ut av den konteksten risikerer de å uskarpe kunst og virkelighet, noe som noen ganger har ført ham inn vanskelig territorium .

Se dette innlegget på Instagram

«When it's so many haters...» (2019) Dette dypfalske bevegelige bildeverket er fra «Big Dada»-serien, en del av «Spectre»-prosjektet. Der big data, AI, dada og konseptuell kunst kombineres. .Kunstverk av Bill Posters & @danyelhau #spectreknows #deepfake #deepfakes #contemporary artwork #digitalart #generativeart #newmediaart #codeart #contemporaryart

Et innlegg delt av Regningsplakater (@bill_posters_uk) 1. juni 2019 kl. 03:47 PDT

Se dette innlegget på Instagram

I dag har jeg gitt ut en ny serie med #deepfake-kunstverk med @futureadvocacy for å øke bevisstheten om mangelen på regulering angående feilinformasjon på nettet. Disse 'delvis politiske' sendingene ser at Storbritannias statsminister Boris Johnson og opposisjonsleder Jeremy Corbyn er dypt forfalsket for å sende en advarsel til alle regjeringer angående desinformasjon på nettet. For denne intervensjonen har vi brukt de biometriske dataene til kjente britiske politikere for å utfordre det faktum at uten større kontroller og beskyttelse angående personopplysninger og kraftige nye teknologier, utgjør feilinformasjon en direkte risiko for alles menneskerettigheter, inkludert rettighetene til de i stillinger som makt. Det er oppsiktsvekkende at etter 3 år har ikke anbefalingene fra DCMS Select Committee-undersøkelsen om falske nyheter eller Information Commissioner's Office-undersøkelsen av Cambridge Analytica-skandalene blitt brukt til å endre britiske lover for å beskytte vår frihet og demokrati. Som et resultat er betingelsene for beregningsmessige former for propaganda og feilinformasjonskampanjer forsterket av sosiale medieplattformer fortsatt gjeldende i dag. Vi oppfordrer alle britiske politiske partier til å bruke parlamentets egne funn og sikre fremtidige valg. Til tross for endeløse advarsler de siste årene, har politikere kollektivt unnlatt å ta opp problemet med desinformasjon på nettet. I stedet har svaret vært å utsette teknologiselskapene til å gjøre mer. Ansvaret for å beskytte vårt demokrati ligger i korridorene i Westminster, ikke styrerommene i Silicon Valley. Se hele videoene på nettsiden min! [LINK I BIO] #deepfakes #newmediaart #ukelection #feilinformasjon

Et innlegg delt av Regningsplakater (@bill_posters_uk) 11. november 2019 kl. 23:55 PST

Det er også få regler rundt hvis bilder og tale kan manipuleres – og få beskyttelser for skuespillere bak kulissene. Så langt har de fleste profesjonaliserte deepfakes vært basert på kjente personer og laget med klare, konstruktive mål, så de er juridisk beskyttet i USA under satirelover. I tilfellet med Mischiefs Putin og Kim deepfakes, har imidlertid skuespillerne forblitt anonyme av personlige sikkerhetsgrunner, sa teamet, på grunn av den kontroversielle naturen til å manipulere bildene av diktatorer.

Ettersom de vet hvordan amatørdeepfakes har blitt brukt til å misbruke, manipulere og trakassere kvinner, er noen skapere også bekymret for retningen ting kan gå. Det er mange mennesker som kommer inn på vognen som ikke egentlig er etisk eller moralsk bekymret over hvem deres klienter er, hvor dette kan dukke opp og i hvilken form, sier Francis.

Til tross for disse tøffe spørsmålene er det imidlertid mange artister og filmskapere som er overbevist om at deepfakes bør være her for å bli. Etisk brukt utvider teknologien mulighetene for kunst og kritikk, provokasjon og overtalelse. Det får folk bare til å tenke, sier Francis. Det er den perfekte kunstformen for denne typen absurdistiske, nesten surrealistiske tider som vi opplever.

gjemme seg