I Was There When: Facebook satte fortjeneste over sikkerhet

Forrige måned var den primære kilden for Wall Street Journals Facebook-filer , avslørte identiteten hennes i en episode av 60 minutter . Frances Haugen, en tidligere produktsjef i selskapet, sier hun kom frem etter at hun så Facebooks ledelse gjentatte ganger prioritere profitt fremfor sikkerhet. Hun dukket deretter opp for lovgivere i USA og Storbritannia for å snakke om hva hun hadde lært i løpet av tiden hennes i firmaet.

Men Haugen var ikke den første Facebook-varsleren som slo alarm over firmaets manglende evne – eller manglende vilje – til å håndtere alvorlige problemer forårsaket av plattformens algoritmer. I 2020 fikk vi vite om Sophie Zhang, som offisielt hadde blitt ansatt som dataforsker på lavt nivå i selskapet. Da hun sluttet, avslørte blockbuster-memoet hennes på 8000 ord at hun hadde identifisert dusinvis av land, inkludert India, Mexico, Afghanistan og Sør-Korea, der falske kontoer og likes tillot politikere å villede publikum og få makt. Den avslørte også hvor lite selskapet hadde gjort for å dempe problemet, til tross for Zhangs gjentatte forsøk på å bringe det til ledelsen.

I siste episode av Jeg var der når , et nytt muntlig historieprosjekt fra In Machines We Trust-podcasten, snakker vi med Zhang om hennes innsats.

Studiepoeng:

Denne episoden ble produsert av Jennifer Strong, Anthony Green og Emma Cillekens. Den er redigert av Michael Reilly og Mat Honan. Den er mikset av Garret Lang, med lyddesign og musikk av Jacob Gorski.

Full utskrift:

[TR ID]

SOT: Frances Haugen: I løpet av min tid på Facebook innså jeg en ødeleggende sannhet. Nesten ingen utenfor Facebook vet hva som skjer inne på Facebook.

Jennifer: Frances Haugen er tidligere produktsjef i Facebook. Hun har sendt inn klager til føderal rettshåndhevelse og hevder at ledelsen til sosiale medier gjentatte ganger har satt profitt over sikkerhet.

SOT: Frances Haugen: Selskapet skjuler med vilje viktig informasjon fra offentligheten, fra den amerikanske regjeringen og fra myndigheter over hele verden.

Jennifer: Klagene hennes kom med en haug med dokumenter som Haugen samlet før han sluttet... i et forsøk på å demonstrere at selskapet med vilje hadde valgt å ikke fikse problemene på plattformen.

Blant dem... at algoritmer som den bak Facebook-nyhetsstrømmen din forsterker hat, feilinformasjon og politisk uro.

Og hun er ikke den eneste varsleren som anklager selskapet for å lukke øynene for desinformasjonskampanjer på plattformen.

Sophie Zhang jobbet som Facebook-dataforsker ... og frem til hun ble sparket, konsumerte hun seg selv med å finne og ta ned falske kontoer, kommentarer og likes som ble brukt til å påvirke valg globalt. Det storslagne exit-memoet hennes var på 8 tusen ord ... og det avslørte hvor lite Facebook hadde gjort for å dempe problemet.

Jeg er Jennifer Strong, og dette er Jeg var der når .

Det er et muntlig historieprosjekt som inneholder historiene om hvordan vannskilleøyeblikk innen kunstig intelligens og databehandling skjedde ... som fortalt av menneskene som var vitne til dem.

[Vis ID]

Sophie Zhang: Jeg er Sophie Zhang. På Facebook var jeg dataforsker og jobbet i engasjementsteamet. Med falske mener jeg for eksempel falske kontoer, men også hackede kontoer. Og med engasjement mener jeg likes, kommentarer, delinger osv. Men på fritiden min, da jeg begynte med måneskinnet i området for å finne uekte politisk aktivitet. Ofte svært sofistikert, uautentisk politisk aktivitet. Jeg kan argumentere for at dette også var falsk engasjement, men det var ikke det jeg var forventet å jobbe med.

Da jeg begynte å se på skjæringspunktene mellom falskt engasjement og samfunnsaktivitet, fant jeg veldig raskt resultater over hele verden. Jeg fant resultater i, i Brasil, i India, i Indonesia, i mange nasjoner, men også i Honduras, ganske mye i Honduras faktisk i forhold til størrelsen. Og jeg satt sammen en rapport for ledelsen om problemet. Jeg mente å ta et skjermbilde av siden til den store mottakeren i Honduras, Juan Orlando Hernández, som etter at jeg søkte ham viste seg å være presidenten i Honduras.

Jeg skulle til siden hans for å ta et skjermbilde da de plutselig stoppet, fordi jeg la merke til noe veldig uvanlig fordi de som var, som likte siden hans og kommenterte, mange av dem ikke var mennesker i det hele tatt. De var sider som utga seg for å være brukere. Og så bare for å gå tilbake her, hva er sider? Hva er brukere? Sider er en Facebook-funksjon ment for offentlige personer, offentlige organisasjoner osv. Så for eksempel har MIT Tech Review en Facebook-side. MIT Tech Review er ikke en person. Siden drives av noen andre på Facebook.

Og så hensikten med hvordan Facebook-sider er, er at de skal reflektere offentlige enheter, og en enkelt bruker kan kontrollere mange sider. Så for eksempel kan den samme administratoren kontrollere CNN-siden så vel som CNN, Filippinene og CNN Europe, osv. Men det var ingenting som hindret en bruker i å sette opp hundrevis av sider, gi dem navn og profilbilder som ekte mennesker og la dem opptre som ekte mennesker. Faktisk var det lettere for dem fordi de ganske enkelt kunne bytte mellom disse sidene uten å måtte logge på og av hver gang.

Ganske raskt innså at disse falske sidene som utgir seg for å være brukere, det var tusenvis av dem i Honduras. Og noen hundre av dem ble personlig drevet av sideadministratoren til presidenten i Honduras. Dette var en som tydeligvis hadde en betydelig grad av tillit på sosiale medier i den honduranske regjeringen. Og de la ikke engang skjul på at de brukte tusenvis av falske eiendeler for å manipulere sine egne borgere.

Og så fra starten av var jeg veldig naiv. Jeg tenkte at, ok, jeg fant dette. Disse menneskene var dumme. Vi fanget dem. Jeg vil overlate dem til andre. De vil ta over det. Jeg kan kutte tilbake til den faktiske jobben min, og alt blir bra. Det var i stedet starten på en to år lang sisyfisk prøvelse, for det som skjedde da jeg oppdro det var alle enige om at dette var forferdelig. Det var ikke kontroversielt at dette var dårlig. Alle var enige om at dette ikke skulle være tillatt, men spørsmålet var hva vi gjør med det? Har vi evnen til å handle på det? Er det innenfor vår politikk å handle på det, et cetera. Fra starten snakket jeg om det til alle som så ut til å forholde seg til det. Jeg snakket om det til Pages Integrity, til Groups Integrity. Jeg snakket om det med teamet for borgerlig integritet. Jeg prøvde å få trusseletterretningen interessert. Til slutt snakket jeg med alle som ville lytte. Jeg snakket med alle til og med visepresident Guy Rosen. Det var egentlig som å snakke med vinden, som å prøve å tømme havet med et dørslag. Etter hvert fant jeg ut at den beste måten å oppnå resultater på ofte ikke var ved å prøve å gå gjennom de riktige kanalene, men ved å klage offentlig i selskapet på Workplace, som egentlig er Facebook for kontoret, og lage Workplace-innlegg om situasjonen som andre på selskapet kunne se. Og mange av dem var selvfølgelig opprørt over det fordi dette ikke var den typen selskap de trodde de jobbet for og ønsket å jobbe for. Jeg vet ikke om det var på denne måten, av andre, men til slutt tok Facebook endelig ned driften av den honduriske regjeringen, som var internasjonale nyheter.

Noen uker senere kom operasjonen tilbake med en annen metode. Da vi fikk tak i Honduras, var jeg fortsatt naiv og idealistisk i starten. Jeg tenkte, ok, før dette sa alle at vi ikke hadde en presedens, vi visste ikke hva vi skulle gjøre, men nå har vi presedensen. Nå kan vi si at vi har skapt denne presedensen for å gjøre dette. Vi kan løse det på denne metoden. Og så etter dette tenkte jeg, ok, jeg kan sende dem over alle de andre jeg fant. De ville ta seg av det. De tok seg ikke av det. Da jeg brukte de riktige kanalene for å sende dem over, gikk de i hovedsak inn i en makuleringsmaskin for svart boks hvor de ble ignorert.

I andre halvdel av 2019 løftet og flagget jeg rundt tre dusin flere nettverk av uautentiske politiske aktiviteter fra Afghanistan til Albania, fra Brasil, til Bolivia, fra India til Indonesia. Og derfor tok det en stund å finne ut den riktige måten å faktisk oppnå resultater og få folk til å faktisk svare. Det var avhengig av om de var knyttet til politikere og fremtredende skikkelser, for hvis noe var knyttet til en politisk skikkelse, ble det mye vanskeligere å ta det ned. Jeg skal gi deg et nummer nå som jeg ikke dro da de først så det. Fordi Aserbajdsjan absolutt har mindre enn 3 % av verdens befolkning, mye mindre, skapte nettverket kanskje en million kommentarer hver måned. Og dette utgjorde omtrent 3 % av alle kommentarer fra sider på innlegg fra andre sider over hele verden, globalt, borgerlig eller ikke-borgerlig.

Men selv da jeg tok den aserbajdsjanske regjeringen på fersk gjerning, tok det mer enn ett år før operasjonen ble stoppet. Da jeg fant ut at den aserbajdsjanske regjeringen hadde satt opp en massiv bompengegård av betalte operatører for å trakassere opposisjonen i store mengder. Dette var veldig tydelig dårlig. Det var veldig tydelig knyttet til den aserbajdsjanske regjeringen. Og den var massiv i omfang. Men da vi tok det ned, er jeg sikker på et sted på Facebook, var det et team som var veldig opprørt over hvorfor tallene plutselig sank uten grunn som de kunne finne ut av. mellom min oppdagelse og nedtakelsen hadde Aserbajdsjan slått ned på opposisjonen, arrestert uforbedrede opposisjonelle og startet en krig med Armenia.

Det ble mer og mer stressende å jobbe med problemstillingen. Det er vanskelig individuelt å se hvilken innvirkning noe av dette hadde, men det ble raskt klart at det var knyttet til aktivitet i nasjoner som slet fordi det var så mye som skjedde. Og det var jeg som personlig tok avgjørelser om hva som var viktig. Det var i hovedsak helt opp til meg hva jeg valgte å gå videre med, hva jeg valgte å prioritere og prøve å få oppmerksomhet til. Og jeg valgte å ikke prioritere Bolivia fordi det objektivt sett var veldig lite og lite smart. I god tid etter valget var det masseprotester som eskalerte til det som alternativt har blitt kalt et statskupp eller et folkelig opprør som resulterte i den bolivianske regjeringens fall. Jeg vet at dette ikke burde vært mitt personlig ansvar, men til syvende og sist var det ingen andre som rykket opp. Og derfor valgte jeg å gjøre det selv. Og fordi jeg hadde satt meg selv i denne posisjonen, var det i hovedsak opp til meg selv, hva som var viktig nok å fokusere på, og jeg vil være tydelig. Det var alltid andre som var det, som hadde ansvaret for å foredle funnene mine og hadde ansvaret for å faktisk ta det ned på slutten.

Jeg bestemte meg fra starten av at jeg bare skulle være aktor, i hovedsak ville jeg prøve mitt beste for å aldri være dommer, jury og bøddel, fordi jeg allerede hadde for mye makt i hendene mine. Jeg tror ingen burde være i stand til å avgjøre om Albania er viktigere enn Aserbajdsjan eller slike spørsmål. Fordi de også fant i den boken med kontoer som var knyttet til å støtte medlemmer av den albanske regjeringen. Men det jeg fant i Aserbajdsjan var objektivt sett verre med tanke på størrelse og skala. Så jeg visste at jeg bare hadde den politiske kapitalen til å presse gjennom en om gangen. Og derfor valgte jeg å fokusere på Aserbajdsjan. Det pågår fortsatt i Albania. Albania hadde stortingsvalg tidligere i år, og det pågikk fortsatt den gangen. Jeg mener, mer enn to år etter at jeg oppdaget det, har Facebook fortsatt ikke gjort noe.

Og jeg kan bare be om unnskyldning til det albanske folket. Jeg burde ikke ha vært i en posisjon der jeg trengte å velge om Albania eller Aserbajdsjan var viktigere. Jeg står ved min avgjørelse fordi det de fant i Aserbajdsjan var objektivt sett verre, men likevel bør ingen enkelt person være ansvarlig for spørsmål som dette. Det har vært mange nyhetsoppslag om hvordan Facebook er under-ressursert på integritetsområdet. Jeg har ikke sett noen nyhetsrapporter som klager over at Facebook har for lite ressurser i annonsemarkedsføring. Og jeg tror det sier mye om selskapets prioriteringer på slutten.

Det jeg syntes var vanskeligst var i visse autoritære land. Den demokratiske opposisjonen tjente på å bruke og smakfulle taktikker. Og jeg tenkte mest over de sakene. Men jeg tok dem likevel ned uten å nøle fordi jeg trodde veldig bestemt at min troskap var til ideene om demokrati og rettssikkerhet. Og at demokrati i bunn og grunn ikke kan stå på en seng av løgner. Som en ansatt på svært lavt nivå i min egen fritid, uten noen som helst tilsyn, tok beslutninger personlig, som direkte påvirket nasjonale myndigheter.

Det er et vanskelig spørsmål å svare på hva jeg tror bør skje, fordi en del av det er som, det er som å spørre om du kan lage himmelen hvilken som helst farge, hvilken farge vil du at den skal ha? Fordi det er et, er det for det meste et teoretisk spørsmål, og svaret ditt vil ikke ha noen reell effekt på den virkelige verden.

Jeg kan ikke få Mark til å ombestemme seg lenger enn de kan gjøre himmelen rosa over natten. Dette er opp til folk som hører på meg, til folk som deg selv, for jeg kan ikke endre noe selv. Jeg har bare så mye makt som andre gir meg. Hvis du vil at ting skal endres, bør du personlig spørre representantene dine fordi dette til syvende og sist er et problem som ikke oppleves av noen få enkeltpersoner. Dette er problemet der kostnadene bæres av samfunnet, av demokratiet, av den borgerlige diskursen som helhet. Og som et selskap har Facebook ikke noe insentiv til å fikse dette lenger enn vi forventet at Philip Morris skulle utvikle ikke-avhengighetsskapende sigaretter.

Jennifer: Jeg var der når er et muntlig historieprosjekt som viser historiene til mennesker som har vært vitne til eller skapt gjennombrudd innen kunstig intelligens og databehandling.

Har du en historie å fortelle? Kjenner du noen som gjør det? Send oss ​​en e-post på podcaster på technology review dot com.

[MIDROLL]

[KREDITTER]

Jennifer: Denne episoden ble produsert av meg med hjelp fra Anthony Green og Emma Cillekens. Vi er redigert av Niall Firth og Mat Honan. Vår miksingeniør er Garret Lang ... og temamusikken vår er av Jacob Gorski.

Takk for at du lyttet, jeg heter Jennifer Strong.

[TR ID]

gjemme seg