Hvordan Facebook og Google finansierer global feilinformasjon

Teknikgigantene betaler millioner av dollar til operatørene av clickbait-sider, og bankrollerer forringelsen av informasjonsøkosystemer rundt om i verden.





lys og skygge på gulvet

Getty

  • Karen Hao arkivside
20. november 2021

Myanmar, mars 2021.

En måned etter den demokratiske regjeringens fall.



Nettleseren din støtter ikke video-taggen. Nettleseren din støtter ikke video-taggen.

En Facebook Live-video viste hundrevis av mennesker som protesterte mot militærkuppet på gatene i Myanmar.

Den hadde nesten 50 000 delinger og over 1,5 millioner visninger, i et land med litt over 54 millioner mennesker.

Observatører, som ikke var i stand til å se hendelsene på bakken, brukte opptakene, sammen med hundrevis av andre live-feeder, til å spore og dokumentere situasjonen. (MIT Technology Review gjorde navnene og bildene til plakatene uskarpe for å unngå å sette sikkerheten deres i fare.)



Men mindre enn et døgn senere, ville den samme videoen bli kringkastet igjen flere ganger, og hver av dem hevdet fortsatt å være live.

Midt i en massiv politisk krise var det ikke lenger en måte å skjelne hva som var ekte og hva som ikke var det.

I 2015 var seks av de 10 nettstedene i Myanmar som fikk mest engasjement på Facebook fra legitime medier, ifølge data fra CrowdTangle, et Facebook-drevet verktøy. Et år senere tilbød Facebook (som nylig ble omdøpt til Meta) global tilgang til Instant Articles, et program som utgivere kunne bruke for å tjene penger på innholdet deres.



Ett år etter den utrullingen sto legitime utgivere for bare to av de 10 beste utgiverne på Facebook i Myanmar. I 2018 sto de for null. Alt engasjementet hadde i stedet gått til falske nyheter og clickbait-nettsteder. I et land der Facebook er synonymt med internett, overveldet lavkvalitetsinnholdet andre informasjonskilder.

Det var under denne raske degraderingen av Myanmars digitale miljø at en militant gruppe rohingyaer – en overveiende muslimsk etnisk minoritet – angrep og drepte et dusin medlemmer av sikkerhetsstyrkene i august 2017. Da politi og militær begynte å slå ned på rohingyaene og presse ut anti-muslimsk propaganda, falske nyhetsartikler som utnyttet sentimentet gikk viralt. De hevdet at muslimer var bevæpnet, at de samlet seg i 1000 sterke mobber, at de var rundt hjørnet og kom for å drepe deg.

Det er fortsatt ikke klart i dag om de falske nyhetene først og fremst kom fra politiske aktører eller fra økonomisk motiverte. Men uansett, det store volumet av falske nyheter og clickbait fungerte som drivstoff på flammene til allerede farlig høye etniske og religiøse spenninger. Det endret opinionen og eskalerte konflikten, som til slutt førte til døden til 10.000 rohingyaer, ved konservative anslag, og 700.000 flere ble fordrevet.



I 2018 slo en FN-undersøkelse fast at volden mot rohingyaene utgjorde et folkemord og at Facebook hadde spilt en avgjørende rolle i grusomhetene. Måneder senere innrømmet Facebook at de ikke hadde gjort nok for å forhindre at plattformen vår ble brukt til å fremme splittelse og oppfordre til offline vold.

I løpet av de siste ukene har avsløringene fra Facebook Papers, en samling interne dokumenter levert til Kongressen og et konsortium av nyhetsorganisasjoner av varsleren Frances Haugen, bekreftet det sivilsamfunnsgrupper har sagt i årevis: Facebooks algoritmiske forsterkning av inflammatorisk innhold , kombinert med dens manglende prioritering av innholdsmoderering utenfor USA og Europa, har drevet spredningen av hatefulle ytringer og feilinformasjon, og har farlig destabilisert land rundt om i verden.

Men det mangler en viktig del av historien. Facebook forsterker ikke bare feilinformasjon.

Selskapet finansierer det også.

En MIT Technology Review undersøkelser, basert på ekspertintervjuer, dataanalyser og dokumenter som ikke var inkludert i Facebook-papirene, har funnet ut at Facebook og Google betaler millioner av annonsedollar til bankroll clickbait-aktører, noe som gir næring til forringelsen av informasjonsøkosystemer rundt om i verden.

Anatomien til en clickbait-farm

Facebook lanserte programmet Instant Articles i 2015 med en håndfull amerikanske og europeiske utgivere. Selskapet fakturerte programmet som en måte å forbedre artiklers lastetider og skape en slankere brukeropplevelse.

Relatert historie

Hvordan Facebook ble avhengig av å spre feilinformasjon

Selskapets AI-algoritmer ga det en umettelig vane for løgner og hatefulle ytringer. Nå kan ikke mannen som bygde dem fikse problemet.

Det var det offentlige salget. Men flyttingen fanget også beleilig inn annonsekroner fra Google. Før Instant Articles ville artikler som ble lagt ut på Facebook omdirigere til en nettleser, hvor de åpnet seg på utgiverens egen nettside. Annonseleverandøren, vanligvis Google, vil da tjene penger på alle annonsevisninger eller klikk. Med den nye ordningen ville artikler åpnes opp direkte i Facebook-appen, og Facebook ville eie annonseplassen. Hvis en deltakende utgiver også hadde valgt å tjene penger med Facebooks annonsenettverk, kalt Audience Network, kunne Facebook sette inn annonser i utgiverens historier og ta 30 % kutt av inntektene.

Instant Articles falt raskt i unåde hos sin originale gruppe med store mainstream-utgivere. For dem var ikke utbetalingene høye nok sammenlignet med andre tilgjengelige former for inntektsgenerering. Men det var ikke sant for utgivere i det globale sør, som Facebook startet akseptere til programmet i 2016 . I 2018 rapporterte selskapet å betale ut 1,5 milliarder dollar til utgivere og apputviklere (som også kan delta i Audience Network). I 2019 var dette tallet nådd flere milliarder .

Tidlig utførte Facebook lite kvalitetskontroll på typene utgivere som ble med i programmet. Plattformens design straffet heller ikke brukerne tilstrekkelig for å legge ut identisk innhold på Facebook-sider – faktisk belønnet det oppførselen. Å legge ut den samme artikkelen på flere sider kan så mye som doble antallet brukere som klikket på den og genererte annonseinntekter.

Clickbait-farmer rundt om i verden grep denne feilen som en strategi – en de fortsatt bruker i dag.

En gård vil opprette et nettsted eller flere nettsteder ...

…for publisering av hovedsakelig plagiert innhold.

Det registrerer dem med Øyeblikkelige elementer og Publikumsnettverk ,

som setter inn annonser i artiklene deres.

Deretter legger den ut artiklene på tvers av en klynge med så mange som dusinvis av Facebook-sider om gangen.

Clickbait-skuespillere dukket opp i Myanmar over natten. Med den rette oppskriften for å produsere engasjerende og stemningsfullt innhold, kunne de generere tusenvis av amerikanske dollar i måneden i annonseinntekter, eller 10 ganger gjennomsnittlig månedslønn – betalt til dem direkte av Facebook.

Først et internt firmadokument rapportert av MIT Technology Review i oktober , viser at Facebook var klar over problemet allerede i 2019. Forfatteren, tidligere Facebook-dataforsker Jeff Allen, fant at akkurat denne taktikken hadde tillatt clickbait-farmer i Makedonia og Kosovo å nå nesten en halv million amerikanere i året før valget i 2020 . Gårdene hadde også kommet seg inn i Instant Articles and Ad Breaks, et lignende program for inntektsgenerering for å sette inn annonser i Facebook-videoer. På et tidspunkt brukte så mange som 60 % av domenene som ble registrert i Instant Articles den spammy-skrivetaktikken som ble brukt av clickbait-farmer, heter det i rapporten. Allen, bundet av en taushetserklæring med Facebook, kommenterte ikke rapporten.

Til tross for press fra både interne og eksterne forskere, slet Facebook med å stoppe overgrepene. I mellomtiden rullet selskapet ut flere inntektsgenereringsprogrammer for å åpne opp for nye inntektsstrømmer. I tillegg til annonsepauser for videoer, var det IGTV-inntektsgenerering for Instagram og in-stream-annonser for live-videoer. Det hensynsløse presset for brukervekst vi så – nå ser vi et hensynsløst press for utgivervekst, sier Victoire Rio, en forsker på digitale rettigheter som kjemper mot plattform-induserte skader i Myanmar og andre land i det globale sør.

MIT Technology Review har funnet ut at problemet nå skjer på global skala. Tusenvis av clickbait-operasjoner har dukket opp, først og fremst i land der Facebooks utbetalinger gir en større og jevnere inntektskilde enn andre former for tilgjengelig arbeid. Noen er grupper av mennesker mens andre er individer, støttet av billige automatiserte verktøy som hjelper dem å lage og distribuere artikler i masseskala. De er heller ikke begrenset til å publisere artikler. De skyver ut live-videoer og driver Instagram-kontoer, som de tjener penger på direkte eller bruker til å drive mer trafikk til nettstedene deres.

Google er også skyldig. AdSense-programmet drev de Makedonia- og Kosovo-baserte gårdene som var rettet mot amerikanske publikummere i forkant av presidentvalget i 2016. Og det er AdSense som oppmuntrer nye clickbait-aktører på YouTube til å legge ut opprørende innhold og viral feilinformasjon.

Mange clickbait-farmer i dag tjener penger med både Instant Articles og AdSense, og mottar utbetalinger fra begge selskapene. Og fordi Facebooks og YouTubes algoritmer øke det som engasjerer brukerne , har de skapt et informasjonsøkosystem der innhold som går viralt på én plattform ofte blir resirkulert på den andre for å maksimere distribusjon og inntekter.

Disse skuespillerne ville ikke eksistert hvis det ikke var for plattformene, sier Rio.

Relatert historie

Trollfarmer nådde 140 millioner amerikanere i måneden på Facebook før valget i 2020, viser intern rapport

Dette er ikke normalt. Dette er ikke sunt.

Som svar på de detaljerte bevisene vi ga hvert selskap for denne oppførselen, bestred Meta-talsperson Joe Osborne våre kjernefunn og sa at vi hadde misforstått problemet. Uansett har vi investert i å bygge nye ekspertdrevne og skalerbare løsninger på disse komplekse problemene i mange år, og vil fortsette å gjøre det, sa han.

Google bekreftet at oppførselen brøt med retningslinjene og avsluttet alle YouTube-kanalene MIT Technology Review identifiserte som sprer feilinformasjon. Vi jobber hardt for å beskytte seerne mot clickbait eller villedende innhold på tvers av plattformene våre og har investert tungt i systemer som er utviklet for å heve autoritativ informasjon, sa YouTube-talsperson Ivy Choi.

Clickbait-farmer retter seg ikke bare mot sine hjemland. Etter eksemplet til aktører fra Makedonia og Kosovo, har de nyeste operatørene innsett at de ikke trenger å forstå verken et lands lokale kontekst eller språk for å gjøre politisk forargelse til inntekt.

MIT Technology Review samarbeidet med Allen, som nå leder en ideell organisasjon kalt Integritetsinstituttet som forsker på plattformmisbruk, for å identifisere mulige clickbait-aktører på Facebook. Vi fokuserte på sidene som gikk tom for Kambodsja og Vietnam – to av landene der clickbait-operasjoner nå tjener penger på situasjonen i Myanmar.

Vi innhentet data fra CrowdTangle, hvis utviklingsteam selskapet brøt opp tidligere i år , og fra Facebooks utgiverlister , som registrerer hvilke utgivere som er registrert i inntektsgenereringsprogrammer. Allen skrev en tilpasset klyngealgoritme for å finne sider som publiserer innhold på en svært koordinert måte og målrettet mot talere av språk som hovedsakelig brukes utenfor landene der operasjonene er basert. Deretter analyserte vi hvilke klynger som hadde minst én side registrert i et program for inntektsgenerering, eller som i stor grad promoterte innhold fra en side registrert i et program.

Vi fant over 2000 sider i begge land som var engasjert i denne clickbait-lignende oppførselen. (Det kan være en undertelling, fordi ikke alle Facebook-sider spores av CrowdTangle.) Mange har millioner av følgere og når sannsynligvis enda flere brukere. I rapporten fra 2019 fant Allen det 75 % av brukerne som ble utsatt for clickbait-innhold fra gårder drevet i Makedonia og Kosovo hadde aldri fulgt noen av sidene. Facebooks innholdsanbefalingssystem hadde i stedet presset det inn i nyhetsfeedene deres.

Da MIT Technology Review sendte Facebook en liste over disse sidene og en detaljert forklaring av metodikken vår, kalte Osborne analysen feil. Selv om noen sider her kan ha vært på utgiverlistene våre, tjente mange av dem ikke penger på Facebook, sa han.

Disse tallene indikerer faktisk ikke at alle disse sidene genererte annonseinntekter. I stedet er det et estimat, basert på data Facebook har gjort offentlig tilgjengelig, av antall sider knyttet til clickbait-aktører i Kambodsja og Vietnam som Facebook har gjort kvalifisert til å tjene penger på plattformen.

Osborne bekreftet også at flere av de Kambodsjadrevne clickbait-lignende sidene vi fant var direkte registrert med et av Facebooks inntektsgenereringsprogrammer enn vi tidligere trodde. I vår analyse fant vi at 35 % av sidene i klyngene våre hadde gjort det de siste to årene. De andre 65 % ville ha indirekte generert annonseinntekter ved å kraftig promotere innhold fra den registrerte siden til et bredere publikum. Osborne sa det faktisk ca halv av sidene vi fant, eller omtrent 150 sider til, hadde direkte registrert seg på et tidspunkt med et inntektsgenereringsprogram, primært Instant Articles.

Kort tid etter at vi henvendte oss til Facebook, begynte operatører av clickbait-sider i Myanmar å klage i nettfora over at sidene deres hadde blitt startet opp fra Instant Articles. Osborne nektet å svare på spørsmålene våre om de siste håndhevelsestiltakene selskapet har tatt.

Facebook har kontinuerlig forsøkt å luke disse aktørene ut av sine programmer. For eksempel er det fortsatt bare 30 av de Kambodsjadrevne sidene som tjener penger, sa Osborne. Men dataene våre fra Facebooks utgiverlister viser at håndhevelsen ofte er forsinket og ufullstendig – clickbait-sider kan holde seg innenfor inntektsgenereringsprogrammer i hundrevis av dager før de blir fjernet. De samme aktørene vil også spinne opp nye sider når de gamle har demonetisert.

Allen er nå åpen kildekode vi pleide å oppmuntre andre uavhengige forskere til å foredle og bygge videre på arbeidet vårt.

For å støtte MIT Technology Review sin journalistikk, bør du vurdere å bli abonnent .

Ved å bruke samme metodikk fant vi også mer enn 400 utenlandsk drevne sider rettet mot hovedsakelig amerikanske publikummere i klynger som dukket opp i Facebooks utgiverlister de siste to årene. (Vi inkluderte ikke sider fra land som har engelsk som hovedspråk.) Settet inkluderer en inntektsgivende klynge drevet delvis fra Makedonia rettet mot kvinner og LHBTQ-samfunnet. Den har åtte Facebook-sider, inkludert to verifiserte med henholdsvis over 1,7 millioner og 1,5 millioner følgere, og legger ut innhold fra fem nettsteder, hver registrert hos Google AdSense og Audience Network. Den har også tre Instagram-kontoer, som tjener penger gjennom gavebutikker og samarbeid og ved å lede brukere til de samme stort sett plagierte nettstedene. Administratorer for Facebook-sidene og Instagram-kontoene svarte ikke på våre forespørsler om kommentarer.

LGBT News og Women's Rights News-sidene på Facebook legger ut identisk innhold fra fem av sine egne tilknyttede nettsteder som tjener penger med Instant Articles og Google AdSense, samt fra andre nyhetskanaler som det ser ut til å ha betalt partnerskap med.

Osborne sa at Facebook nå undersøker kontoene etter at vi gjorde selskapet oppmerksom på dem. Choi sa at Google har fjernet AdSense-annonser fra hundrevis av sider på disse sidene tidligere på grunn av brudd på retningslinjene, men at nettstedene selv fortsatt har lov til å tjene penger basert på selskapets vanlige anmeldelser.

Selv om det er mulig at makedonerne som driver sidene virkelig bryr seg om amerikansk politikk og kvinners og LHBTQ-rettigheter, genererer innholdet unektelig inntekter. Dette betyr at det de promoterer mest sannsynlig styres av hva som vinner og taper med Facebooks nyhetsfeedalgoritme.

Aktiviteten til en enkelt side eller klynge av sider føles kanskje ikke signifikant, sier Camille François, en forsker ved Columbia University som studerer organiserte desinformasjonskampanjer på sosiale medier. Men når hundrevis eller tusenvis av skuespillere gjør det samme, forsterker det samme innholdet og når millioner av publikummere, kan det påvirke den offentlige samtalen. Det folk ser på som den hjemlige samtalen om et tema kan faktisk være noe helt annet, sier François. Det er en gjeng med betalte mennesker som later som de ikke har noe forhold til hverandre, og optimaliserer hva de skal legge ut.

Osborne sa at Facebook har laget flere nye retningslinjer og håndhevingsprotokoller i løpet av de siste to årene for å løse dette problemet, inkludert straff for sider som kjører ut av ett land som oppfører seg som om de er lokale for et annet, i tillegg til å straffe sider som bygger et publikum på basert på ett emne og deretter pivot til et annet. Men både Allen og Rio sier at selskapets handlinger ikke har klart å lukke grunnleggende smutthull i plattformens retningslinjer og design – sårbarheter som gir næring til en global informasjonskrise.

Det påvirker først og fremst land utenfor USA, men utgjør også en massiv risiko for USA på lang sikt, sier Rio. Det kommer til å påvirke stort sett hvor som helst i verden når det er økte hendelser som et valg.

Desinformasjon til leie

Som svar på MIT Technology Reviews første rapportering om Allens interne rapport fra 2019, som vi publisert i sin helhet , David Agranovich, direktør for global trusselavbrudd hos Facebook, twitret , Sidene det refereres til her, basert på vår egen forskning fra 2019, er økonomisk motiverte spammere, ikke åpenlyst påvirkende operasjoner. Begge disse er alvorlige utfordringer, men de er forskjellige. Å blande dem hjelper ingen. Osborne gjentok at vi blandet de to gruppene som svar på funnene våre.

Men desinformasjonseksperter sier det er misvisende å trekke en hard linje mellom økonomisk motiverte spammere og politiske påvirkningsoperasjoner.

Det er en forskjell i hensikt: økonomisk motiverte spammere er agnostiske om innholdet de publiserer. De går hvor enn klikkene og pengene er, og lar Facebooks nyhetsfeedalgoritme diktere hvilke emner de skal dekke neste gang. Politiske operasjoner er i stedet rettet mot å presse en bestemt agenda.

Men i praksis det spiller ingen rolle : i taktikk og innvirkning ser de ofte like ut. På en gjennomsnittlig dag kan et økonomisk motivert clickbait-nettsted være fylt med kjendisnyheter, søte dyr eller svært emosjonelle historier – alle pålitelige drivere for trafikk. Så, når politisk uro slår til, driver de mot hyperpartiske nyheter, feilinformasjon og forargelse fordi det får mer engasjement.

Den makedonske sideklyngen er et godt eksempel. Mesteparten av tiden fremmer innholdet kvinners og LGTBQ-rettigheter. Men rundt tidspunktet for hendelser som valget i 2020, opprøret 6. januar og vedtakelsen av Texass lov om hjerteslag mot abort, forsterket klyngen et spesielt spisset politisk innhold. Mange av artiklene dens har blitt bredt sirkulert av legitime sider med stor tilhengerskare, inkludert de som drives av Occupy Democrats, Union of Concerned Scientists og Women's March Global.

Et eksempel på en svært politisk artikkel som til slutt ble slettet fra en av klyngens fem tilknyttede nettsteder. Clickbait-nettsteder skrubber ofte gamle artikler fra sidene sine.

Politiske påvirkningsoperasjoner kan i mellomtiden legge ut kjendis- og dyreinnhold for å bygge ut Facebook-sider med store følgere. De svinger da også til politikk under sensitive politiske hendelser, og drar nytte av det enorme publikummet som allerede er til rådighet.

Politiske operatører vil noen ganger også betale økonomisk motiverte spammere for å kringkaste propaganda på Facebook-sidene deres, eller kjøpe sider for å bruke dem til påvirkningskampanjer. Rio har allerede sett bevis på et svart marked der clickbait-skuespillere kan selge sitt store Facebook-publikum.

Med andre ord, sider ser ufarlige ut til de ikke gjør det. Vi har bemyndiget uautentiske skuespillere til å akkumulere enorme følgere for stort sett ukjente formål, skrev Allen i rapporten.

Dette skiftet har skjedd mange ganger i Myanmar siden fremveksten av clickbait-farmer, spesielt under Rohingya-krisen og igjen i forkant av og i etterkant av årets militærkupp. (Sistnevnte ble fremskyndet av hendelser omtrent som de som førte til USA-opprøret 6. januar, inkludert utbredte falske påstander om et stjålet valg .)

I oktober 2020 tok Facebook ned en rekke sider og grupper som var engasjert i koordinert clickbait-atferd i Myanmar. I en analyse av disse eiendelene fant Graphika, et forskningsfirma som studerer spredningen av informasjon på nettet, at sidene hovedsakelig fokuserte på kjendisnyheter og sladder, men presset ut politisk propaganda, farlig anti-muslimsk retorikk og covid-19 feilinformasjon i viktige kriseøyeblikk. . Dusinvis av sider hadde mer enn 1 million følgere hver, og den største nådde over 5 millioner.

Det samme fenomenet utspilte seg på Filippinene i forkant av president Rodrigo Dutertes valg i 2016. Duterte har blitt sammenlignet med Donald Trump for hans populistiske politikk, bombastiske retorikk og autoritære tilbøyeligheter. Under kampanjen hans gikk en clickbait-farm, formelt registrert som selskapet Twinmark Media, fra å dekke kjendiser og underholdning til å promotere ham og hans ideologi.

Den gang var det en utbredt oppfatning at politikere hadde hyret inn Twinmark til å gjennomføre en påvirkningskampanje. Men i intervjuer med journalister og forskere , innrømmet tidligere Twinmark-ansatte at de rett og slett jaget profitt. Gjennom eksperimentering oppdaget de ansatte at pro-Duterte-innhold utmerket seg under et opphetet valg. De betalte til og med andre kjendiser og påvirkere for å dele artiklene sine for å få flere klikk og generere mer annonseinntekter, ifølge undersøkelser fra medie- og kommunikasjonsforskere Jonathan Ong og Jason Vincent A. Cabañes.

I de siste månedene av kampanjen dominerte Duterte den politiske diskursen på sosiale medier. Facebook kalte ham selv ubestridt konge av Facebook-samtaler da det fant han var gjenstand for 68 % av alle valgrelaterte diskusjoner , sammenlignet med 46 % for hans neste nærmeste rival.

Tre måneder etter valget, Maria Ressa, administrerende direktør i medieselskapet Rappler, som vant Nobels fredspris i år for sitt arbeid med å bekjempe desinformasjon, publiserte et stykke som beskriver hvordan en konsert med koordinert clickbait og propaganda på Facebook endret opinionen i sentrale spørsmål.

Det er en strategi med «død med tusen kutt» – en brøyting av fakta, ved å bruke halvsannheter som lager en alternativ virkelighet ved å slå sammen kraften til roboter og falske kontoer på sosiale medier for å manipulere ekte mennesker, skrev hun.

I 2019, Facebook tok til slutt ned 220 Facebook-sider, 73 Facebook-kontoer og 29 Instagram-kontoer knyttet til Twinmark Media. Da hadde Facebook og Google allerede betalt gården så mye som 8 millioner dollar ( 400 millioner filippinske pesos ).

Verken Facebook eller Google bekreftet dette beløpet. Metas Osborne bestred karakteriseringen av at Facebook hadde påvirket valget.

En trussel i utvikling

Facebook gjorde en stor innsats for å luke clickbait-farmer ut av Instant Articles og Ad Breaks i første halvdel av 2019, ifølge Allens interne rapport. Nærmere bestemt begynte den å sjekke utgivere for innholdets originalitet og demonetisere de som la ut stort sett uoriginalt innhold.

Men disse automatiserte kontrollene er begrenset. De fokuserer først og fremst på å vurdere originaliteten til videoer, og ikke for eksempel på om en artikkel har blitt plagiert. Selv om de gjorde det, ville slike systemer bare være like gode som selskapets evner til kunstig intelligens på et gitt språk. Land med språk som ikke er prioritert av AI-forskningsmiljøet får langt mindre oppmerksomhet, om noen i det hele tatt. I Etiopias tilfelle er det 100 millioner mennesker og seks språk. Facebook støtter bare to av disse språkene for integritetssystemer, sa Haugen under sitt vitnesbyrd til kongressen.

Rio sier at det også er smutthull i håndhevelsen. Overtredere blir tatt ut av programmet, men ikke fra plattformen, og de kan appellere om å bli gjeninnsatt. Ankene behandles av et eget team enn det som utfører håndhevingen og utfører kun grunnleggende aktuelle kontroller før aktøren gjeninnsettes. (Facebook svarte ikke på spørsmål om hva disse sjekkene faktisk ser etter.) Som et resultat kan det ta bare timer før en clickbait-operatør blir med igjen og igjen etter fjerning. På en eller annen måte snakker ikke alle lagene med hverandre, sier hun.

Dette er hvordan Rio befant seg i en tilstand av panikk i mars i år. En måned etter at militæret hadde arrestert den tidligere demokratiske lederen Aung San Suu Kyi og tatt kontroll over regjeringen, var demonstrantene fortsatt i voldelige sammenstøt med det nye regimet. Militæret kuttet sporadisk tilgangen til internett og kringkastingsnettverk, og Rio var livredd for sikkerheten til vennene hennes i landet.

Hun begynte å lete etter dem i Facebook Live-videoer. Folk så veldig aktivt på disse videoene fordi det er slik du holder styr på dine kjære, sier hun. Hun var ikke bekymret for å se at videoene kom fra sider med troverdighetsproblemer; hun mente at streamerne brukte falske sider for å beskytte sin anonymitet.

Så skjedde det umulige: hun så den samme Live-videoen to ganger. Hun husket det fordi det var grusomt: hundrevis av barn, som så ut så unge som 10 år, på linje med hendene på hodet, ble lastet inn i militære lastebiler.

Da hun gravde i det, oppdaget hun at videoene ikke var live i det hele tatt. Livevideoer er ment å indikere en sending i sanntid og inkludere viktige metadata om tid og sted for aktiviteten. Disse videoene ble lastet ned fra andre steder og sendt på nytt på Facebook ved hjelp av tredjepartsverktøy for å få dem til å se ut som livestreams.

Relatert historie

Hun risikerte alt for å avsløre Facebook. Nå forteller hun historien sin.

Sophie Zhang, en tidligere dataforsker ved Facebook, avslørte at det muliggjør global politisk manipulasjon og har gjort lite for å stoppe det.

Det var hundrevis av dem, og samlet titusenvis av engasjementer og hundretusenvis av visninger. Fra begynnelsen av november fant MIT Technology Review dusinvis av dupliserte falske Live-videoer fra denne tidsrammen fortsatt. Ett duplikatpar med henholdsvis over 200 000 og 160 000 visninger, proklamert på burmesisk, jeg er den eneste som sender direkte fra hele landet i sanntid. Facebook fjernet flere av dem etter at vi gjorde dem oppmerksom på dem, men dusinvis flere, samt sidene som publiserte dem, gjenstår fortsatt. Osborne sa at selskapet er klar over problemet og har redusert disse falske livene og deres distribusjon betydelig det siste året.

Ironisk nok, mener Rio, er videoene sannsynligvis revet fra opptak av krisen lastet opp til YouTube som bevis for menneskerettigheter. Scenene, med andre ord, er faktisk fra Myanmar - men de ble alle publisert fra Vietnam og Kambodsja.

I løpet av det siste halvåret har Rio sporet og identifisert flere sideklynger som går tom for Vietnam og Kambodsja. Mange brukte falske Live-videoer for raskt å bygge opp følgertallet og få seerne til å bli med i Facebook-grupper forkledd som pro-demokratiske samfunn. Rio bekymrer seg nå for at Facebooks siste utrulling av in-stream-annonser i live-videoer vil oppmuntre clickbait-aktører til å forfalske dem ytterligere. En kambodsjansk klynge med 18 sider begynte å legge ut svært skadelig politisk feilinformasjon, og nådde totalt 16 millioner engasjementer og et publikum på 1,6 millioner på fire måneder. Facebook tok ned alle 18 sidene i mars, men nye klynger fortsetter å spinne opp mens andre gjenstår.

For alt Rio vet, snakker ikke disse vietnamesiske og kambodsjanske skuespillerne burmesisk. De forstår sannsynligvis ikke burmesisk kultur eller landets politikk. Poenget er at de ikke trenger det. Ikke når de stjeler innholdet deres.

Rio har siden funnet flere av kambodsjernes private Facebook- og Telegram-grupper (en med over 3000 individer), hvor de bytter verktøy og tips om de beste pengene-tjenende strategiene. MIT Technology Review gjennomgikk dokumentene, bildene og videoene hun samlet inn, og hyret inn en Khmer-oversetter for å tolke en opplæringsvideo som leder seerne trinn for trinn gjennom en clickbait-arbeidsflyt.

Materialet viser hvordan de kambodsjanske operatørene samler forskning på innholdet med best ytelse i hvert land og plagierer dem for deres clickbait-nettsteder. Én Google Disk-mappe som deles i fellesskapet har to dusin regneark med lenker til de mest populære Facebook-gruppene i 20 land, inkludert USA, Storbritannia, Australia, India, Frankrike, Tyskland, Mexico og Brasil.

Opplæringsvideoen viser også hvordan de finner de mest virale YouTube-videoene på forskjellige språk og bruker et automatisert verktøy for å konvertere hver enkelt til en artikkel for nettstedet deres. Vi fant 29 YouTube-kanaler som spredte politisk feilinformasjon om den nåværende politiske situasjonen i Myanmar, for eksempel, som ble konvertert til clickbait-artikler og omdistribuert til nye målgrupper på Facebook.

En av YouTube-kanalene som sprer politisk feilinformasjon i Myanmar. Google tok det til slutt ned.

Etter at vi gjorde oppmerksom på kanalene, avsluttet YouTube dem alle for brudd på retningslinjene for fellesskapet, inkludert syv som de fastslo var en del av koordinerte påvirkningsoperasjoner knyttet til Myanmar. Choi bemerket at YouTube tidligere også hadde sluttet å vise annonser på nesten 2000 videoer på tvers av disse kanalene. Vi fortsetter å aktivt overvåke plattformene våre for å forhindre dårlige aktører som ønsker å misbruke nettverket vårt for profitt, sa hun.

Så er det andre verktøy, inkludert et som lar forhåndsinnspilte videoer vises som falske Facebook Live-videoer. En annen genererer tilfeldig profildetaljer for amerikanske menn , inkludert bilde, navn, fødselsdag, personnummer, telefonnummer og adresse, så enda et verktøy kan masseprodusere falske Facebook-kontoer ved å bruke noe av denne informasjonen.

Det er nå så enkelt å gjøre at mange kambodsjanske skuespillere opererer solo. Rio kaller dem mikroentreprenører. I det mest ekstreme scenariet har hun sett individer administrere så mange som 11 000 Facebook-kontoer på egenhånd.

Vellykkede mikroentreprenører trener også andre til å gjøre dette arbeidet i samfunnet deres. Det kommer til å bli verre, sier hun. «Enhver Joe i verden kan påvirke informasjonsmiljøet ditt uten at du er klar over det.

Fortjeneste fremfor sikkerhet

Under sitt vitnesbyrd i Senatet i oktober i år fremhevet Haugen de grunnleggende feilene ved Facebooks innholdsbaserte tilnærming til plattformmisbruk. Den nåværende strategien, fokusert på hva som kan og ikke kan vises på plattformen, kan bare være reaktiv og aldri omfattende, sa hun. Ikke bare krever det at Facebook oppregner alle mulige former for misbruk, men det krever også at selskapet er dyktig til å moderere på alle språk. Facebook har mislyktes på begge punkter - og de mest sårbare menneskene i verden har betalt den største prisen, sa hun.

Den største skyldige, sa Haugen, er Facebooks ønske om å maksimere engasjementet, som har gjort algoritmen og plattformdesignen til et gigantisk bullhorn for hatytringer og feilinformasjon. An MIT Technology Review-undersøkelse fra tidligere i år, basert på dusinvis av intervjuer med Facebook-ledere, nåværende og tidligere ansatte, bransjekolleger og eksterne eksperter, bekrefter denne karakteriseringen.

Hennes vitnesbyrd gjenspeilte også det Allen skrev i rapporten sin – og hva Rio og andre desinformasjonseksperter gjentatte ganger har sett gjennom sin forskning. For clickbait-farmer er det første trinnet å komme inn i inntektsgenereringsprogrammene, men hvor mye de tjener inn avhenger av hvor mye Facebooks innholdsanbefalingssystemer øker artiklene deres. De ville ikke trives, og de ville heller ikke plagiere slikt skadelig innhold hvis deres lyssky taktikk ikke gjorde det så bra på plattformen.

Som et resultat er det ikke løsningen å luke ut selve gårdene: høyt motiverte aktører vil alltid kunne spinne opp nye nettsider og nye sider for å få mer penger. I stedet er det algoritmene og innholdsbelønningsmekanismene som må adresseres.

I sin rapport foreslo Allen en mulig måte Facebook kan gjøre dette: ved å bruke det som er kjent som et grafbasert autoritetsmål for å rangere innhold. Dette vil forsterke sider av høyere kvalitet som nyheter og medier og redusere sider av lavere kvalitet som clickbait, og snu den nåværende trenden.

Haugen understreket at Facebooks unnlatelse av å fikse plattformen sin ikke var på grunn av mangel på løsninger, verktøy eller kapasitet. Facebook kan endre seg, men kommer tydeligvis ikke til å gjøre det på egen hånd, sa hun. Min frykt er at uten handling er den splittende og ekstremistiske oppførselen vi ser i dag bare begynnelsen. Det vi så i Myanmar og nå ser i Etiopia er bare åpningskapitlene i en historie så skremmende at ingen ønsker å lese slutten av den.

(Osborne sa at Facebook har en fundamentalt annerledes tilnærming til Myanmar i dag med større ekspertise i landets menneskerettighetsspørsmål og et dedikert team og teknologi for å oppdage krenkende innhold, som hatytringer, på burmesisk.)

I oktober sa den avtroppende FNs spesialutsending i Myanmar at landet hadde forverret seg til borgerkrig . Tusenvis av mennesker har siden flyktet til naboland som Thailand og India. Fra midten av november fortsatte clickbait-skuespillere å legge ut falske nyheter hver time. I ett innlegg var den demokratiske lederen, mor Suu, blitt myrdet. I en annen var hun endelig blitt frigjort.

Spesiell takk til teamet vårt. Design og utvikling av Rachel Stein og Andre Vitorio. Kunstretning og produksjon av Emily Luong og Stephanie Arnett. Redigering av Niall Firth og Mat Honan. Faktasjekk av Matt Mahoney. Kopiredigering av Linda Lowenthal.

Korreksjon: En tidligere versjon av artikkelen sa feilaktig at etter at vi kontaktet Facebook, begynte clickbait-skuespillere i Kambodsja å klage på nettfora over å ha blitt fjernet fra Instant Articles. Skuespillerne var faktisk i Myanmar.