Facebook-varsleren sier at algoritmene deres er farlige. Her er hvorfor.

Facebook-varsleren Frances Haugen vitner under en senatskomité 5. oktober. Drew Angerer/Getty Images

Søndag kveld var den primære kilden til Wall Street Journals Facebook-filer , en etterforskningsserie basert på interne Facebook-dokumenter, avslørte identiteten hennes i en episode av 60 minutter .

Frances Haugen, en tidligere produktsjef i selskapet, sier hun kom frem etter at hun så Facebooks ledelse gjentatte ganger prioritere profitt fremfor sikkerhet.

Før hun sluttet i mai i år, finkjemmet hun Facebook Workplace, selskapets interne ansattes sosiale medier-nettverk, og samlet en lang rekke interne rapporter og undersøkelser i et forsøk på å bevise at Facebook med vilje hadde valgt å ikke fikse problemene på sin plattform.

I dag vitnet hun foran Senatet om Facebooks innvirkning på samfunnet. Hun gjentok mange av funnene fra den interne forskningen og ba Kongressen om å handle.

Relatert historie

Hvordan Facebook ble avhengig av å spre feilinformasjon

Selskapets AI-algoritmer ga det en umettelig vane for løgner og hatefulle ytringer. Nå kan ikke mannen som bygde dem fikse problemet.

Jeg er her i dag fordi jeg tror Facebooks produkter skader barn, brenner splittelse og svekker demokratiet vårt, sa hun i sin åpningserklæring til lovgiverne. Disse problemene er løsbare. Et sikrere, ytringsfrihetsrespekterende og morsommere sosiale medier er mulig. Men det er én ting jeg håper alle tar med seg fra disse avsløringene, det er at Facebook kan endre seg, men kommer tydeligvis ikke til å gjøre det på egen hånd.

Under hennes vitnesbyrd ga Haugen særlig skylden på Facebooks algoritme- og plattformdesignbeslutninger for mange av problemene. Dette er et bemerkelsesverdig skifte fra det eksisterende fokuset til beslutningstakere på Facebooks innholdspolitikk og sensur – hva som hører hjemme på Facebook og ikke. Mange eksperter mener at dette snevre synet fører til en mule-strategi som går glipp av det større bildet.

Jeg er en sterk talsmann for ikke-innholdsbaserte løsninger, fordi disse løsningene vil beskytte de mest sårbare menneskene i verden, sa Haugen og pekte på Facebooks ujevne evne til å håndheve innholdspolitikken på andre språk enn engelsk.

Haugens vitnesbyrd gjenspeiler mange av funnene fra en MIT Technology Review-undersøkelse publisert tidligere i år, som trakk på dusinvis av intervjuer med Facebook-ledere, nåværende og tidligere ansatte, bransjekolleger og eksterne eksperter. Vi har samlet de mest relevante delene av vår etterforskning og annen rapportering for å gi mer kontekst til Haugens vitnesbyrd.

Hvordan fungerer Facebooks algoritme?

I daglig tale bruker vi begrepet Facebooks algoritme som om det bare er én. Faktisk bestemmer Facebook hvordan man målretter annonser og rangerer innhold basert på hundrevis, kanskje tusenvis, av algoritmer. Noen av disse algoritmene erterer brukerens preferanser og øker den typen innhold opp i brukerens nyhetsfeed. Andre er for å oppdage spesifikke typer dårlig innhold, som nakenhet, spam eller clickbait-overskrifter, og slette eller presse dem ned i feeden.

Alle disse algoritmene er kjent som maskinlæringsalgoritmer. Som jeg skrev tidligere i år :

I motsetning til tradisjonelle algoritmer, som er hardkodet av ingeniører, trener maskinlæringsalgoritmer på inndata for å lære korrelasjonene i dem. Den trente algoritmen, kjent som en maskinlæringsmodell, kan deretter automatisere fremtidige beslutninger. En algoritme som er trent på annonseklikkdata, kan for eksempel finne ut at kvinner klikker på annonser for yogaleggings oftere enn menn. Den resulterende modellen vil da vise flere av disse annonsene til kvinner.

Og på grunn av Facebooks enorme mengder brukerdata, kan det

utvikle modeller som lærte å utlede eksistensen av ikke bare brede kategorier som kvinner og menn, men svært finkornede kategorier som kvinner mellom 25 og 34 som likte Facebook-sider relatert til yoga, og [målrette] annonser til dem. Jo mer detaljert målrettingen er, desto større er sjansen for et klikk, noe som vil gi annonsørene mer valuta for pengene.

De samme prinsippene gjelder for rangering av innhold i nyhetsfeed:

Akkurat som algoritmer [kan] trenes til å forutsi hvem som vil klikke på hvilken annonse, kan de også trenes til å forutsi hvem som vil like eller dele hvilket innlegg, og deretter gi disse innleggene mer fremtredende plass. Hvis modellen bestemte at en person virkelig likte hunder, for eksempel, ville venners innlegg om hunder vises høyere opp på brukerens nyhetsstrøm.

Før Facebook begynte å bruke maskinlæringsalgoritmer, brukte team designtaktikker for å øke engasjementet. De ville eksperimentere med ting som fargen på en knapp eller frekvensen av varsler for å få brukere til å komme tilbake til plattformen. Men maskinlæringsalgoritmer skaper en mye kraftigere tilbakemeldingssløyfe. Ikke bare kan de tilpasse det hver bruker ser, de vil også fortsette å utvikle seg med en brukers skiftende preferanser, og fortløpende vise hver person hva som vil holde dem mest engasjert.

Hvem driver Facebooks algoritme?

Innen Facebook er det ingen team som har ansvaret for dette innholdsrangeringssystemet i sin helhet. Ingeniører utvikler og legger til sine egne maskinlæringsmodeller i miksen, basert på teamets mål. For eksempel vil team som fokuserer på å fjerne eller degradere dårlig innhold, kjent som integritetsteamene, kun trene modeller for å oppdage forskjellige typer dårlig innhold.

Dette var en avgjørelse som Facebook tok tidlig som en del av sin raske bevegelse og bryte tingskulturen. Den utviklet et internt verktøy kjent som FBLearner Flow som gjorde det enkelt for ingeniører uten maskinlæringserfaring å utvikle de modellene de måtte ha til rådighet. Ved ett datapunkt var det allerede i bruk av mer enn en fjerdedel av Facebooks ingeniørteam i 2016.

Relatert historie

Hun risikerte alt for å avsløre Facebook. Nå forteller hun historien sin.

Sophie Zhang, en tidligere dataforsker ved Facebook, avslørte at det muliggjør global politisk manipulasjon og har gjort lite for å stoppe det.

Mange av de nåværende og tidligere Facebook-ansatte jeg har snakket med sier at dette er en del av grunnen til at Facebook ikke ser ut til å få tak i hva det serverer brukere i nyhetsstrømmen. Ulike team kan ha konkurrerende mål, og systemet har vokst seg så komplekst og uhåndterlig at ingen lenger kan holde oversikt over alle de forskjellige komponentene.

Som et resultat er selskapets hovedprosess for kvalitetskontroll gjennom eksperimentering og måling. Som jeg skrev:

Lag trener opp en ny maskinlæringsmodell på FBLearner, enten de skal endre rangeringsrekkefølgen til innlegg eller for å bedre fange innhold som bryter med Facebooks fellesskapsstandarder (reglene for hva som er og ikke er tillatt på plattformen). Deretter tester de den nye modellen på en liten undergruppe av Facebooks brukere for å måle hvordan den endrer engasjementmålinger, for eksempel antall likerklikk, kommentarer og delinger, sier Krishna Gade, som fungerte som ingeniørsjef for nyhetsfeeden fra 2016 til 2018 .

Hvis en modell reduserer engasjementet for mye, blir den forkastet. Ellers blir den distribuert og overvåket kontinuerlig. På Twitter, Gade forklart at ingeniørene hans ville få varsler med noen få dagers mellomrom når beregninger som likes eller kommentarer var nede. Deretter ville de tyde hva som hadde forårsaket problemet og om noen modeller trengte omskolering.

Hvordan har Facebooks innholdsrangering ført til spredning av feilinformasjon og hatytringer?

Under sitt vitneforklaring kom Haugen gjentatte ganger tilbake til ideen om at Facebooks algoritme oppfordrer til feilinformasjon, hatytringer og til og med etnisk vold.

Facebook … vet – de har innrømmet offentlig – at engasjementsbasert rangering er farlig uten integritets- og sikkerhetssystemer, men ikke lanserte disse integritets- og sikkerhetssystemene på de fleste språkene i verden, sa hun til Senatet i dag. Det trekker familier fra hverandre. Og på steder som Etiopia er det bokstavelig talt oppmuntrende til etnisk vold.

Her er det jeg har skrevet om dette tidligere:

Maskinlæringsmodellene som maksimerer engasjementet favoriserer også kontroverser, feilinformasjon og ekstremisme: enkelt sagt, folk liker opprørende ting.

Noen ganger oppildner dette eksisterende politiske spenninger. Det mest ødeleggende eksemplet hittil er tilfellet med Myanmar, der virale falske nyheter og hatefulle ytringer om den muslimske rohingya-minoriteten eskalerte landets religiøse konflikt til et fullverdig folkemord. Facebook innrømmet i 2018, etter år med nedtoning av rollen sin, at de ikke hadde gjort nok for å forhindre at plattformen vår ble brukt til å oppfordre til splittelse og oppfordre til offline vold.

Som Haugen nevnte har Facebook også visst dette en stund. Tidligere rapportering har funnet ut at det har studert fenomenet siden minst 2016.

I en intern presentasjon fra det året, gjennomgått av Wall Street Journal , fant en bedriftsforsker, Monica Lee, ut at Facebook ikke bare var vert for et stort antall ekstremistgrupper, men også promoterte dem til sine brukere: 64 % av alle ekstremistgrupper som blir med på grunn av våre anbefalingsverktøy, heter det i presentasjonen, hovedsakelig takket være modellene bak gruppene du bør bli med og oppdage funksjonene.

I 2017 dannet Chris Cox, Facebooks mangeårige produktsjef, en ny arbeidsgruppe for å forstå om maksimering av brukerengasjement på Facebook bidro til politisk polarisering. Den fant at det faktisk var en korrelasjon, og at å redusere polarisering ville bety å ta et slag på engasjement. I et dokument fra midten av 2018 som ble gjennomgått av Journal, foreslo arbeidsgruppen flere potensielle rettinger, for eksempel å finjustere anbefalingsalgoritmene for å foreslå et mer variert utvalg grupper som folk kan bli med i. Men den erkjente at noen av ideene var antivekst. De fleste av forslagene gikk ikke videre, og arbeidsgruppen ble oppløst.

I mine egne samtaler bekreftet Facebook-ansatte også disse funnene.

En tidligere Facebook AI-forsker som ble med i 2018 sier at han og teamet hans utførte studie etter studie som bekreftet den samme grunnleggende ideen: modeller som maksimerer engasjement øker polariseringen. De kunne enkelt spore hvor sterkt brukere var enige eller uenige i ulike saker, hvilket innhold de likte å engasjere seg i, og hvordan deres holdninger endret seg som et resultat. Uansett problem, lærte modellene å gi brukere stadig mer ekstreme synspunkter. Over tid blir de målbart mer polariserte, sier han.

Relatert historie

Kappløpet om å forstå den spennende, farlige verdenen av språk AI

Hundrevis av forskere rundt om i verden jobber sammen for å forstå en av de kraftigste nye teknologiene før det er for sent.

I sitt vitnesbyrd har Haugen også gjentatte ganger understreket hvordan disse fenomenene er langt verre i regioner som ikke snakker engelsk på grunn av Facebooks ujevne dekning av ulike språk.

I Etiopias tilfelle er det 100 millioner mennesker og seks språk. Facebook støtter bare to av disse språkene for integritetssystemer, sa hun. Denne strategien med å fokusere på språkspesifikke, innholdsspesifikke systemer for AI for å redde oss, er dømt til å mislykkes.

Hun fortsatte: Så å investere i ikke-innholdsbaserte måter å bremse plattformen på, beskytter ikke bare ytringsfriheten vår, den beskytter også folks liv.

Jeg utforsker dette mer i en annen artikkel fra tidligere i år om begrensningene til store språkmodeller , eller LLM-er:

Til tross for at LLM-er har disse språklige manglene, stoler Facebook sterkt på dem for å automatisere innholdsmodereringen globalt. Da krigen i Tigray[, Etiopia] først brøt ut i november, så [AI-etikkforsker Timnit] Gebru plattformen flyndre for å få tak på mengden av feilinformasjon. Dette er emblematisk for et vedvarende mønster som forskere har observert i innholdsmoderasjon. Fellesskap som snakker språk som ikke er prioritert av Silicon Valley, lider av de mest fiendtlige digitale miljøene.

Gebru bemerket at det heller ikke er her skaden slutter. Når falske nyheter, hatefulle ytringer og til og med drapstrusler ikke modereres, blir de deretter skrapet som treningsdata for å bygge neste generasjon LLM-er. Og disse modellene, som papegøyer tilbake det de er trent på, ender opp med å gjengi disse giftige språklige mønstrene på internett.

Hvordan forholder Facebooks innholdsrangering seg til tenåringer mental helse?

En av de mer sjokkerende avsløringene fra Journals Facebook-filer var Instagrams interne forskning, som fant at plattformen forverrer mental helse blant tenåringsjenter. 32 prosent av tenåringsjenter sa at når de følte seg dårlige med kroppen, fikk Instagram dem til å føle seg verre, skrev forskere i en lysbildepresentasjon fra mars 2020.

Haugen kobler dette fenomenet til engasjementsbaserte rangeringssystemer også, som hun fortalte Senatet i dag fører til at tenåringer blir utsatt for mer anoreksi-innhold.

Hvis Instagram er en så positiv kraft, har vi da sett en gullalder for tenårings mentale helse de siste 10 årene? Nei, vi har sett økende grad av selvmord og depresjon blant tenåringer, fortsatte hun. Det er et bredt spekter av forskning som støtter ideen om at bruk av sosiale medier forsterker risikoen for disse psykiske helseskadene.

I min egen rapportering hørte jeg fra en tidligere AI-forsker som også så denne effekten utvide seg til Facebook.

Forskerteamet ... fant at brukere med en tendens til å legge ut eller engasjere seg med melankolsk innhold - et mulig tegn på depresjon - lett kunne spiral inn i å konsumere stadig mer negativt materiale som risikerte å forverre deres mentale helse ytterligere.

Men som med Haugen, fant forskeren at lederskap ikke var interessert i å gjøre grunnleggende algoritmiske endringer.

Teamet foreslo å justere innholdsrangeringsmodellene for disse brukerne for å slutte å maksimere engasjementet alene, slik at de ville bli vist mindre av de deprimerende tingene. Spørsmålet til lederskap var: Bør vi optimalisere for engasjement hvis du finner ut at noen er i en sårbar sinnstilstand? husker han.

Men alt som reduserte engasjementet, selv av grunner som å ikke forverre noens depresjon, førte til mye hemming og havari blant ledere. Med sine resultatvurderinger og lønn knyttet til vellykket gjennomføring av prosjekter, lærte ansatte raskt å droppe de som fikk tilbakeslag og fortsette å jobbe med de som ble diktert ovenfra og ned...

Den tidligere ansatte lar i mellomtiden ikke lenger datteren bruke Facebook.

Hvordan fikser vi dette?

Haugen er imot å bryte opp Facebook eller oppheve paragraf 230 i US Communications Decency Act, som beskytter teknologiske plattformer fra å ta ansvar for innholdet de distribuerer.

I stedet anbefaler hun å lage et mer målrettet unntak i seksjon 230 for algoritmisk rangering, som hun hevder ville bli kvitt den engasjementsbaserte rangeringen. Hun tar også til orde for en tilbakevending til Facebooks kronologiske nyhetsfeed.

Relatert historie

Anmeldelse: Hvorfor Facebook aldri kan fikse seg selv

I An Ugly Truth avslører reporterne Sheera Frenkel og Cecilia Kang Facebooks grunnleggende feil gjennom en detaljert beretning om årene mellom to amerikanske valg.

Ellery Roberts Biddle, prosjektdirektør ved Ranking Digital Rights, en ideell organisasjon som studerer rangeringssystemer for sosiale medier og deres innvirkning på menneskerettigheter, sier at en seksjon 230-utskjæring må undersøkes nøye: Jeg tror det vil ha en snever implikasjon. Jeg tror ikke det helt vil oppnå det vi kan håpe på.

For at en slik utskjæring skal være handlingsdyktig, sier hun, må politikere og offentligheten ha en mye større grad av åpenhet om hvordan Facebooks annonsemålrettings- og innholdsrangeringssystemer fungerer. Jeg forstår Haugens intensjon – det er fornuftig, sier hun. Men det er tøft. Vi har faktisk ikke svart på spørsmålet om åpenhet rundt algoritmer ennå. Det er mye mer å gjøre.

Ikke desto mindre har Haugens avsløringer og vitnesbyrd fått fornyet oppmerksomhet til det mange eksperter og Facebook-ansatte har sagt i årevis: at med mindre Facebook endrer den grunnleggende utformingen av algoritmene, vil det ikke gjøre et meningsfullt inngrep i plattformens problemer.

Hennes inngripen øker også utsiktene til at hvis Facebook ikke kan sette sitt eget hus i orden, kan politikere tvinge frem saken.

Kongressen kan endre reglene som Facebook spiller etter og stoppe de mange skadene den nå forårsaker, sa Haugen til Senatet. Jeg kom frem med stor personlig risiko fordi jeg tror vi fortsatt har tid til å handle, men vi må handle nå.

gjemme seg