Forferdelige mennesker har lært å utnytte internett. Yasmin Green kjemper tilbake.

Jigsaw-teamet på Alphabet bringer folk som ble radikalisert online tilbake fra randen, én video om gangen. Av

• Martin Giles arkivside

19. februar 2018

Landon Speers

Hatytringer, radikalisering på nett, opplæringsprogrammer for bombeproduksjon, statsstøttede falske nyheter, nettsensur – internett er et forferdelig sted.

En del av det er i alle fall. Å hjelpe til med å holde den delen så liten som mulig er jobben til Yasmin Green, direktør for forskning og utvikling i Jigsaw, en del av Googles morselskap, Alphabet. Hun tar på seg terrorister og troll både med en multinasjonal gruppe på rundt 60 spesialister, inkludert programvareingeniører, forskere og produktledere. De kan også benytte seg av Googles enorme ressurser. Men Green og hennes kolleger bruker ikke all sin tid på å kode og bygge; mange av dem reiser også til geopolitiske hot spots for å studere radikalisering på nært hold. Hun snakket med MIT Technology Review om noen av gruppens metoder.

Denne historien var en del av vår utgave for mars 2018

• Se resten av saken
• Abonnere

Hva trakk deg til rollen i Jigsaw?

Jeg forlot Iran, der jeg ble født, i en veldig ung alder og vokste opp i Storbritannia. Jeg husker at jeg gikk tilbake i en alder av 19 og følte meg forbløffet over nivået av sensur det var i landet, både offline og online. Begreper som World Wide Web har en tendens til å høres ironisk ut for folk som ikke bor i land der informasjon er gratis. Så jeg ble tiltrukket av å jobbe i et selskap som prøver å gjøre informasjon tilgjengelig for alle.

Landon Speers

Jigsaw håndterer trusler på nettet, men teammedlemmer besøker også konfliktsoner som en del av arbeidet. Hva er målet med disse turene?

Vi vil forsikre oss om at vi designer teknologi som er basert på en forståelse av menneskelige erfaringer. En stor del av metodikken vår er å sende teammedlemmer ut i felten for å intervjue folk som er i frontlinjen av utfordringene vi prøver å takle, enten det er undertrykkelse eller konflikt. En av våre feltreiser var til Irak, hvor vi satt ansikt til ansikt med folk som hadde sluttet seg til og deretter forlatt terrorgruppen kjent som ISIS. Vi ønsket å forstå radikaliseringsprosessen, både de menneskelige elementene, men også rollen som teknologien spilte. Vi hørte om hvordan folk oppdaget ISIS, hvordan folk ble rekruttert, og hvordan teknologi var nyttig for logistikken til reisen deres [for å bli med i gruppen].

Hva er den viktigste leksjonen vi har lært om ISIS sin evne til å utnytte internett for rekruttering?

ISIS mestrer stort sett mange medier, fra radio til brosjyrer. Når det kommer til internett, har de virkelig forstått kraften i mikromålretting. De lager innhold på en lang liste med språk, inkludert arabisk og engelsk, men det fortsetter og fortsetter, og blir til og med kinesisk og hebraisk. Språket som virkelig fikk meg til å se en video på var tegnspråk. Så de lager veldig lokalt rekrutteringsmateriell og bruker algoritmene som er tilgjengelige gjennom sosiale medier for å distribuere dette materialet og nå folk i alle verdenshjørner.

Noe av innholdet som terrornettverk legger ut på nettet må helt klart fjernes. Men hvordan takler vi mer subtile former for propaganda?

Det er definitivt kategorier av innhold du vil sørge for at ikke ser dagens lys, som halshugging og opplæringsprogrammer for å lage bomber. Så er det en hel rekke annet innhold som egentlig ikke tar til orde for vold, men som kan hjelpe folk videre på veien mot det. Vår forskning var rettet mot å forstå hva rekrutteringstemaene var som fikk folk til å registrere seg for ISIS. Det viser seg at de vanligvis ikke ble tiltrukket av halshugging; i stedet var de overbevist om at denne gruppen var religiøst legitim og årsaken til jihad var deres religiøse plikt. ISIS formet samtalen og stilte spørsmål som [den] hadde tilsynelatende overbevisende svar på.

Jeg tror ikke noen hadde forestilt seg at vi ville ha nivået av trusler og hatytringer på nettet som vi gjør nå, og vi må prøve hardt for å sikre at vi kommer i forkant.

Hvordan har du forsøkt å motvirke denne radikaliseringen på nett?

En av fordelene for oss var at timing er kritisk. Når potensielle rekrutter selges på ideologien, er det for sent å påvirke dem; du må komme til dem når de er sympatiske, men ennå ikke solgt. Så vi vendte oss til målrettet nettannonsering. Vi har utviklet noe som kalles omdirigeringsmetoden, som bruker målrettede annonser for å nå folk som er sympatiske med ISIS, men som ennå ikke er forpliktet til det, og omdirigerer dem til nettvideoer fra moderate geistlige, avhoppere og borgerjournalister som kan avverge deres radikalisering.

Hvilke resultater har denne metoden gitt?

Piloten, som var åtte uker lang og kjørte på arabisk og engelsk, nådde 320 000 mennesker. Den hadde en eksepsjonelt høy klikkfrekvens på annonsene og ga en halv million minutter med videoseertid. Gitt at folk ikke bruker mer enn noen få sekunder på en video de ikke er interessert i, er det oppmuntrende. Etter vår pilot integrerte YouTube metoden i søkeresultatene. Åpen kildekode-metodikken har også blitt replikert av andre som Gen Next Foundation, og vi fortsetter å støtte noen nye distribusjoner.

Jigsaw prøver også å takle nettsensur. Hvor ille er dette problemet?

Hvis du ser på Freedom Houses indeks på dette, sier de at situasjonen blir verre for hvert år. Det er virkelig nedslående, fordi det er i motsetning til hva folk som utvikler internett vil ha for det. Situasjonen er så ustabil. Når du har sivil uro, slik det nylig var i Iran, ser du dilemmaet til undertrykkende regjeringer rundt om de skal stenge internett eller ikke fordi [sensurering] det oppildner befolkningen og vekker offentlig oppmerksomhet og harme. Men hvis de som sitter med makten føler seg truet, vil de sensurere.

Hva kan selskaper som Alphabet gjøre for å motvirke dette?

Vi føler et veldig stort ansvar for å hjelpe folk med å få tilgang til informasjon, spesielt når det er konflikt og undertrykkelse. Ett av produktene våre fokuserer på å beskytte uavhengige medier over hele verden mot en type sensurangrep kalt distribuert denial of service, eller DDoS, som slår nettsteder offline ved å oversvømme dem med trafikk. Det kalles Project Shield. Ideen til dette kom fra vårt feltarbeid. Teamet vårt snakket med den kenyanske valgovervåkingsgruppen, og siden deres hadde gått ned på dagen for et nøkkelvalg. Google har en enorm infrastruktur og DDoS-reduserende evner i verdensklasse, som Project Shield drar nytte av. Uten at nettsteder trenger å være vert for Google eller Jigsaw, tilbyr den å veterinære trafikk før den kommer til en server, slik at vi kan oppdage trafikken som er skadelig og filtrere den ut.

La oss bytte til problemet med falske nyheter. Hvordan kan vi bedre identifisere statsstøttet desinformasjonsinnsats?

Relatert historie

Beslektet historie Yasmin Green, leder for R&D for Alphabet's Jigsaw, bruker teknologi i håp om å gjøre verden til et bedre sted. Det er ikke lett.

Målet med disse kampanjene er å plante ideer og narrativer via falske personas og nyhetssider, og deretter få disse frøene befruktet av massene slik at samtalene ser ut som de er organiske. Forskningsspørsmålet vi har stilt oss selv er om det er tekniske markører for koordinert, skjult aktivitet kontra den mer organiske aktiviteten vi forventer å se på nettet. Hvis det er det, kan vi bruke disse i automatisert deteksjon.

Vi ser på flere dimensjoner her. Koordinerte kampanjer har en tendens til å vare lenger enn organiske, og de involverte har en tendens til å vente på å få instruksjoner fra mesterne sine, så det er noen ganger en liten forsinkelse før de plutselig handler sammen. Disse skuespillerne har også en tendens til å være knyttet til ekstremt tette nettverk eller klynger som ser unormale ut. Det er også en semantisk dimensjon. Disse kampanjene bruker ofte lignende ord og uttrykk som kan være et signal om sentralisert kontroll.

Nettselskaper har blitt kritisert for ikke å gjøre nok for å adressere hatytringer og trakassering på nettet. Er den kritikken rettferdig?

Jeg tror ikke noen hadde forestilt seg at vi ville ha nivået av trusler og hatytringer på nettet som vi gjør nå, og vi må prøve hardt for å sikre at vi kommer i forkant.

Hva gjør Jigsaw for å frustrere nettroll?

Vi har et team dedikert til å se hvordan prosessering av naturlig språk og maskinlæring kan brukes til å identifisere toksisitet på nettet og hjelpe moderatorer og lokalsamfunn med å takle det. Det er en modell vi har utviklet som er offentlig tilgjengelig, kalt Perspective, og du kan finne den på www.perspectiveapi.com . Dette hjelper deg med å score kommentarer for nivået av toksisitet. Forskerteamet ser på måter å komme til et annet granularitetsnivå for å hjelpe oss bedre å identifisere hva som skjer og hvordan moderatorer kan kontrollere det.

Det har vært mye bekymring for at skjevheter i algoritmer kan skade visse grupper i samfunnet. Er dette noe du også har fokus på?

Ja. Vi bruker mye tid på å tenke på hvordan vi kan sikre at vi ikke har skjevheter i vår AI i perspektivet som kan være skadelig for målene for det prosjektet, som er å skape inkluderende og empatiske samtaler.

Du bruker mye av livet ditt på den mørke siden av internett. Er du fortsatt optimistisk med tanke på potensialet?

Det er jeg, men vi må fortsette å utvikle innovative teknologier som kan bidra til å møte disse virkelig vanskelige utfordringene.

gjemme seg