En dypfalsk bot blir brukt til å kle av mindreårige jenter

Savka Jankovic / EyeEm

Oppdatering 28/10: Siden publiseringen av denne artikkelen har den dypfalske boten på Telegram blitt blokkert på iOS for brudd på retningslinjene for App Store, ifølge forskerne . Den viktigste Telegram-kanalen som var vert for boten og en tilknyttet kanal for å dele kreasjonene har også blitt fjernet.

I juni 2019, Vice avdekket eksistensen av en urovekkende app som brukte AI til å kle av kvinner. Kalt DeepNude, det tillot brukere å laste opp et bilde av en kledd kvinne for $50 og få tilbake et bilde av henne tilsynelatende naken. I virkeligheten brukte programvaren generative motstridende nettverk, algoritmen bak deepfakes, for å bytte ut kvinneklærne med svært realistiske nakne kropper. Jo mer lettkledd offeret er, jo bedre. Det fungerte ikke på menn.

I løpet av 24 timer hadde Vice-artikkelen inspirert et slikt tilbakeslag at skaperne av appen raskt tok den ned . DeepNude Twitter-kontoen kunngjorde at ingen andre versjoner ville bli utgitt, og ingen andre ville få tilgang til teknologien.

men a ny etterforskning fra Sensity AI (tidligere Deeptrace Labs), et cybersikkerhetsselskap med fokus på å oppdage misbruk av manipulerte medier, har nå funnet svært lik teknologi som brukes av en offentlig tilgjengelig bot på meldingsappen Telegram. Denne gangen har den et enda enklere brukergrensesnitt: hvem som helst kan sende boten et bilde gjennom Telegram-mobil- eller nettappen og motta nakenbilder i løpet av minutter. Tjenesten er også helt gratis, selv om brukere kan betale en base på 100 rubler (omtrent $1,50) for fordeler som å fjerne vannmerket på de strippede bildene eller hoppe over behandlingskøen.

Fra juli 2020 hadde roboten allerede blitt brukt til å målrette og strippe minst 100 000 kvinner, hvorav de fleste sannsynligvis ikke hadde noen anelse. Vanligvis er det unge jenter, sier Giorgio Patrini, administrerende direktør og sjefforsker i Sensity, som var medforfatter av rapporten. Noen ganger er det dessverre også ganske åpenbart at noen av disse menneskene er mindreårige.

Spillifiseringen av trakassering

Den dypfalske boten, lansert 11. juli 2019, er koblet til syv Telegram-kanaler med til sammen over 100 000 medlemmer. (Dette tallet tar ikke hensyn til duplikatmedlemskap på tvers av kanaler, men hovedgruppen har mer enn 45 000 unike medlemmer alene.)

Den sentrale kanalen er dedikert til å være vert for selve boten, mens de andre brukes til funksjoner som teknisk støtte og bildedeling. Bildedelingskanalene inkluderer grensesnitt som folk kan bruke til å legge ut og bedømme sine nakenkreasjoner. Jo mer et bilde blir likt, desto mer belønnes skaperen med tokens for å få tilgang til botens premiumfunksjoner. Skaperen vil motta et insentiv som om han spiller et spill, sier Patrini.

Fellesskapet, som lett kan oppdages via søk og sosiale medier, har økt jevnlig i antall medlemmer det siste året. En meningsmåling med 7200 brukere viste at omtrent 70 % av dem er fra Russland eller andre russisktalende land. Ofrene ser imidlertid ut til å komme fra et bredere spekter av land, inkludert Argentina, Italia, Russland og USA. Flertallet av dem er privatpersoner som botens brukere sier de kjenner i det virkelige liv eller som de fant på Instagram. Forskerne klarte å identifisere bare en liten håndfull av kvinnene og forsøkte å kontakte dem for å forstå deres erfaringer. Ingen av kvinnene reagerte, sier Patrini.

Forskerne tok også kontakt med Telegram og relevante rettshåndhevelsesbyråer, inkludert FBI. Telegram svarte verken på notatet deres eller MIT Technology Reviews oppfølgingsforespørsel om kommentar. Patrini sier at de heller ikke har sett noen håndgripelig effekt på disse samfunnene etter at de kontaktet myndighetene.

Deepfake hevnporno

Overgripere har brukt pornografiske bilder for å trakassere kvinner i noen tid. I 2019, en studie fra American Psychological Association fant at én av 12 kvinner ender opp med å bli offer for hevnporno på et tidspunkt i livet. En studie fra den australske regjeringen, som så på Australia, Storbritannia og New Zealand, fant at forholdet var så høyt som én av tre. Deepfake hevnporno gir en helt ny dimensjon til trakasseringen, fordi ofrene ikke skjønner at slike bilder eksisterer.

Det er også mange tilfeller der deepfakes har blitt brukt til å målrette mot kjendiser og andre høyprofilerte individer. Teknologien ble først populær i de dype fordypningene på internett som en måte å bytte kjendiser med ansikt til pornovideoer på, og den har blitt brukt som en del av trakasseringskampanjer for å tie kvinnelige journalister . Patrini sier at han også har snakket med influencere og YouTubere, som har fått dypt forfalskede pornografiske bilder av dem sendt direkte til sponsorene deres, noe som har kostet dem enorm følelsesmessig og økonomisk belastning.

Patrini mistenker at disse målrettede angrepene kan bli mye verre. Han og hans medforskere har allerede sett teknologien utvikle seg og spre seg. For eksempel oppdaget de enda et økosystem på over 380 sider dedikert til opprettelse og deling av eksplisitte deepfakes på den russiske sosiale medieplattformen VK. (Etter publiseringen av denne artikkelen sendte en talsperson fra VK MIT Technology Review en uttalelse: 'VK tolererer ikke slikt innhold eller lenker på plattformen og blokkerer fellesskap som distribuerer dem. Vi vil kjøre en ekstra sjekk og blokkere upassende innhold og samfunn.') Forskerne fant også at avkledningsalgoritmen begynner å bli brukt på videoer, for eksempel opptak av bikinimodeller som går nedover en rullebane. Akkurat nå må algoritmen brukes ramme for ramme - den er veldig rudimentær for øyeblikket, sier Patrini. Men jeg er sikker på at folk vil perfeksjonere det og også sette opp en lisenstjeneste for det.

Dessverre er det fortsatt få måter å stoppe denne typen aktivitet på – men bevisstheten om problemene vokser. Selskaper som Facebook og Google, og forskere som produserer verktøy for deepfake-skaping, har begynt å investere mer seriøst i mottiltak som automatisert deepfake-deteksjon. I fjor introduserte også den amerikanske kongressen en ny regning som ville skape en mekanisme for ofre for å søke rettslig regress for skade på omdømmet.

I mellomtiden, sier Patrini, vil Sensity fortsette å spore og rapportere disse typene ondsinnede deepfakes, og forsøke å forstå mer om motivasjonen til de som skaper dem og innvirkningen på ofrenes liv. 'Sannsynligvis er dataene vi deler i denne rapporten bare toppen av isfjellet,' sier han.

Oppdatering: En offisiell uttalelse fra den russiske sosiale medieplattformen VK er lagt til artikkelen.

gjemme seg