Hvordan Facebook ble avhengig av å spre feilinformasjon

Selskapets AI-algoritmer ga det en umettelig vane for løgner og hatefulle ytringer. Nå kan ikke mannen som bygde dem fikse problemet.

De skyldige er Wintermeyer

av

• Karen Hao arkivside

11. mars 2021

Joaquin Quiñonero Candela, en direktør for AI på Facebook, ba publikum om unnskyldning.

Det var 23. mars 2018, bare dager etter avsløringen at Cambridge Analytica, et konsulentselskap som jobbet med Donald Trumps presidentvalgkamp i 2016, i hemmelighet hadde suget personopplysningene til titalls millioner amerikanere fra Facebook-kontoene deres i et forsøk på å påvirke hvordan de stemte. Det var det største personvernbruddet i Facebooks historie, og Quiñonero hadde tidligere vært planlagt å tale på en konferanse om blant annet skjæringspunktet mellom AI, etikk og personvern i selskapet. Han vurderte å kansellere, men etter å ha diskutert det med kommunikasjonsdirektøren sin, hadde han holdt sin tilmålte tid.

Da han gikk opp for å møte rommet, begynte han med en innrømmelse. Jeg har akkurat hatt de fem vanskeligste dagene i min periode på Facebook, husker han at han sa. Hvis det er kritikk, godtar jeg det.

Cambridge Analytica-skandalen vil starte Facebooks største publisitetskrise noensinne. Det forsterket frykten for at algoritmene som bestemmer hva folk ser på plattformen forsterket falske nyheter og hatefulle ytringer, og at russiske hackere hadde bevæpnet dem for å prøve å påvirke valget i Trumps favør. Millioner begynte å slette appen ; ansatte dro i protest; selskapets markedsverdi stupte med mer enn 100 milliarder dollar etter inntjeningsoppkallet i juli.

I de påfølgende månedene begynte Mark Zuckerberg å be om unnskyldning. Han beklaget at han ikke tok et vidt nok syn av Facebooks ansvar, og for hans feil som administrerende direktør. Internt sparket Sheryl Sandberg, driftssjefen, i gang et to-år borgerrettighetsrevisjon å anbefale måter selskapet kan forhindre bruk av plattformen for å undergrave demokratiet.

Til slutt ba Mike Schroepfer, Facebooks teknologisjef, Quiñonero om å starte et team med et direktiv som var litt vagt: å undersøke den samfunnsmessige virkningen av selskapets algoritmer. Gruppen kalte seg Society and AI Lab (SAIL); i fjor ble det kombinert med et annet team som jobbet med spørsmål om personvern for å danne Responsible AI.

Quiñonero var et naturlig valg for jobben. Han, like mye som noen andre, var den ansvarlige for Facebooks posisjon som et kraftsenter for kunstig intelligens. I løpet av sine seks år på Facebook hadde han laget noen av de første algoritmene for å målrette brukere med innhold som var nøyaktig tilpasset deres interesser, og deretter spredte han disse algoritmene over hele selskapet. Nå ville hans mandat være å gjøre dem mindre skadelige.

Facebook har konsekvent pekt på innsatsen fra Quiñonero og andre når de forsøker å reparere sitt rykte. Den traver jevnlig ut ulike ledere for å snakke med media om de pågående reformene. I mai 2019, den ga en serie intervjuer med Schroepfer til New York Times, som belønnet selskapet med en humaniserende profil av en sensitiv, velmenende leder som strever etter å overvinne de tekniske utfordringene med å filtrere ut feilinformasjon og hatefulle ytringer fra en strøm av innhold som beløp seg til milliarder av stykker om dagen. Disse utfordringene er så vanskelige at det gjør Schroepfer emosjonell, skrev Times: Noen ganger får han til tårer.

Våren 2020 var det visstnok min tur. Ari Entin, Facebooks AI-kommunikasjonsdirektør, spurte i en e-post om jeg ønsket å ta en dypere titt på selskapets AI-arbeid. Etter å ha snakket med flere av AI-lederne, bestemte jeg meg for å fokusere på Quiñonero. Entin gladelig forpliktet. Som ikke bare lederen for Responsible AI-teamet, men også mannen som hadde gjort Facebook til et AI-drevet selskap, var Quiñonero et solid valg å bruke som plakatgutt.

Han virket som et naturlig valg av emne for meg også. I årene siden han dannet teamet sitt etter Cambridge Analytica-skandalen, hadde bekymringene for spredningen av løgner og hatefulle ytringer på Facebook bare vokst. På slutten av 2018 innrømmet selskapet at denne aktiviteten hadde bidratt til en folkemord antimuslimsk kampanje i Myanmar i flere år. I 2020 begynte Facebook for sent å ta grep mot Holocaust-fornektere, anti-vaxxers og konspirasjonsbevegelsen QAnon. Alle disse farlige usannhetene ble metastaserende takket være AI-egenskapene Quiñonero hadde hjulpet med å bygge. Algoritmene som underbygger Facebooks virksomhet ble ikke laget for å filtrere ut det som var falskt eller provoserende; de ble designet for å få folk til å dele og engasjere seg med så mye innhold som mulig ved å vise dem ting de mest sannsynlig ville bli rasende eller pirret av. Å fikse dette problemet virket for meg som et kjerneområde for ansvarlig AI.

Jeg begynte å videoringe Quiñonero regelmessig. Jeg snakket også med Facebook-ledere, nåværende og tidligere ansatte, bransjekolleger og eksterne eksperter. Mange snakket på betingelse av anonymitet fordi de hadde signert taushetserklæringer eller fryktet gjengjeldelse. Jeg ville vite: Hva gjorde Quiñoneros team for å tøyle hatet og løgnene på plattformen deres?

Joaquin Quiñonero Candela utenfor hjemmet sitt i Bay Area, hvor han bor med sin kone og tre barn.

WINNI WINTERMEYER

Men Entin og Quiñonero hadde en annen agenda. Hver gang jeg prøvde å ta opp disse emnene, ble mine forespørsler om å snakke om dem droppet eller omdirigert. De ønsket bare å diskutere Responsible AI-teamets plan for å takle én spesifikk type problem: AI-bias, der algoritmer diskriminerer bestemte brukergrupper. Et eksempel kan være en annonsemålrettingsalgoritme som viser visse jobb- eller boligmuligheter til hvite mennesker, men ikke til minoriteter.

Da tusenvis av opprørere stormet den amerikanske hovedstaden i januar, organisert delvis på Facebook og drevet av løgnene om et stjålet valg som hadde spredd seg ut over plattformen, var det klart fra samtalene mine at ansvarlig AI-teamet ikke hadde klart å gjøre fremskritt mot feilinformasjon og hatytringer fordi det aldri hadde gjort disse problemene til sitt hovedfokus. Enda viktigere, innså jeg, hvis den prøvde det, ville den bli satt opp for å mislykkes.

Grunnen er enkel. Alt selskapet gjør og velger å ikke gjøre kommer fra en enkelt motivasjon: Zuckerbergs nådeløse ønske om vekst. Quiñoneros AI-ekspertise forsterket denne veksten. Teamet hans ble kastet ut i å målrette AI-bias, som jeg lærte i min rapportering, fordi å forhindre slik skjevhet hjelper selskapet å unngå foreslått forskrift som kan hemme den veksten hvis den blir vedtatt. Facebook-ledelse har også gjentatte ganger svekket eller stoppet mange initiativer ment å rydde opp i feilinformasjon på plattformen fordi det ville undergrave denne veksten.

Med andre ord, det ansvarlige AI-teamets arbeid – uansett fordeler med det spesifikke problemet med å takle AI-bias – er i hovedsak irrelevant for å fikse de større problemene med feilinformasjon, ekstremisme og politisk polarisering. Og det er vi alle som betaler prisen.

Når du driver med å maksimere engasjementet, er du ikke interessert i sannheten. Du er ikke interessert i skade, splittelse, konspirasjon. Det er faktisk vennene dine, sier Hany Farid, professor ved University of California, Berkeley som samarbeider med Facebook for å forstå bilde- og videobasert feilinformasjon på plattformen.

De gjør alltid akkurat nok for å kunne legge ut pressemeldingen. Men med noen få unntak tror jeg ikke det faktisk er oversatt til bedre retningslinjer. De har egentlig aldri å gjøre med de grunnleggende problemene.

I mars 2012, Quiñonero besøkte en venn i Bay Area. På den tiden var han leder på Microsoft Researchs kontor i Storbritannia, og ledet et team som brukte maskinlæring for å få flere besøkende til å klikke på annonser som ble vist av selskapets søkemotor, Bing. Hans ekspertise var sjelden, og teamet var mindre enn ett år gammelt. Maskinlæring, en undergruppe av AI, hadde ennå ikke vist seg som en løsning på storskala industriproblemer. Få teknologigiganter hadde investert i teknologien.

Quiñoneros venn ønsket å vise frem sin nye arbeidsgiver, en av de hotteste startupene i Silicon Valley: Facebook, den gang åtte år gammel og allerede med nesten ca. en milliard månedlige aktive brukere (dvs. de som har logget på minst én gang i løpet av de siste 30 dagene). Mens Quiñonero gikk rundt hovedkvarteret i Menlo Park, så han en enslig ingeniør gjøre en stor oppdatering av nettstedet, noe som ville ha medført betydelig byråkrati hos Microsoft. Det var en minneverdig introduksjon til Zuckerbergs Move fast and break tings etos. Quiñonero var imponert over mulighetene. I løpet av en uke hadde han vært gjennom intervjuer og signert et tilbud om å bli med i selskapet.

Hans ankomst kunne ikke vært bedre timet. Facebooks annonsetjeneste var midt i en rask ekspansjon da selskapet forberedte sin børsnotering i mai. Målet var å øke inntektene og ta fatt på Google, som hadde brorparten av markedet for nettannonsering. Maskinlæring, som kan forutsi hvilke annonser som vil resonere best med hvilke brukere og dermed gjøre dem mer effektive, kan være det perfekte verktøyet. Kort tid etter oppstart ble Quiñonero forfremmet til å lede et team som ligner på det han ledet hos Microsoft.

Quiñonero begynte å oppdra kyllinger på slutten av 2019 som en måte å slappe av fra intensiteten i jobben sin.

WINNI WINTERMEYER

I motsetning til tradisjonelle algoritmer, som er hardkodet av ingeniører, trener maskinlæringsalgoritmer på inndata for å lære korrelasjonene i dem. Den trente algoritmen, kjent som en maskinlæringsmodell, kan deretter automatisere fremtidige beslutninger. En algoritme som er trent på annonseklikkdata, kan for eksempel finne ut at kvinner klikker på annonser for yogaleggings oftere enn menn. Den resulterende modellen vil da vise flere av disse annonsene til kvinner. I dag hos et AI-basert selskap som Facebook, genererer ingeniører utallige modeller med små variasjoner for å se hvilken som presterer best på et gitt problem.

Facebooks enorme mengder brukerdata ga Quiñonero en stor fordel. Teamet hans kunne utvikle modeller som lærte å utlede eksistensen av ikke bare brede kategorier som kvinner og menn, men svært finkornede kategorier som kvinner mellom 25 og 34 som likte Facebook-sider relatert til yoga, og målrettede annonser til dem. Jo mer detaljert målrettingen er, desto større er sjansen for et klikk, noe som vil gi annonsørene mer valuta for pengene.

I løpet av et år hadde teamet hans utviklet disse modellene, samt verktøyene for å designe og distribuere nye raskere. Før hadde det tatt Quiñoneros ingeniører seks til åtte uker å bygge, trene og teste en ny modell. Nå tok det bare én.

Nyheten om suksessen spredte seg raskt. Teamet som jobbet med å finne ut hvilke innlegg individuelle Facebook-brukere ville se på sine personlige nyhetsstrømmer ønsket å bruke de samme teknikkene. Akkurat som algoritmer kan trenes til å forutsi hvem som vil klikke på hvilken annonse, kan de også trenes til å forutsi hvem som vil like eller dele hvilket innlegg, og deretter gi disse innleggene mer fremtredende plass. Hvis modellen bestemte at en person virkelig likte hunder, for eksempel, ville venners innlegg om hunder vises høyere opp på brukerens nyhetsstrøm.

Quiñoneros suksess med nyhetsstrømmen – kombinert med imponerende ny AI-forskning utført utenfor selskapet – fanget Zuckerberg og Schroepfers oppmerksomhet. Facebook hadde nå litt over 1 milliard brukere, noe som gjør det mer enn åtte ganger større enn noe annet sosialt nettverk, men de ønsket å vite hvordan de skulle fortsette den veksten. Lederne bestemte seg for å investere tungt i kunstig intelligens, internett-tilkobling og virtuell virkelighet.

De opprettet to AI-team. Den ene var FAIR, et grunnleggende forskningslaboratorium som ville fremme teknologiens toppmoderne evner. Den andre, Applied Machine Learning (AML), ville integrere disse egenskapene i Facebooks produkter og tjenester. I desember 2013, etter måneder med frieri og overtalelse, rekrutterte lederne Yann LeCun, et av de største navnene på feltet, til å lede FAIR. Tre måneder senere ble Quiñonero forfremmet igjen, denne gangen for å lede AML. (Den ble senere omdøpt til FAIAR, uttalt brann.)

Slik vet du hva han tenker på. Jeg var alltid, i et par år, noen få skritt fra Marks skrivebord.

Joaquin Quinonero Candela

I sin nye rolle bygde Quiñonero en ny modellutviklingsplattform som alle på Facebook kan få tilgang til. Kalt FBLearner Flow , tillot det ingeniører med liten AI-erfaring å trene og distribuere maskinlæringsmodeller i løpet av dager. I midten av 2016 var den i bruk av mer enn en fjerdedel av Facebooks ingeniørteam og hadde allerede blitt brukt til å trene over en million modeller, inkludert modeller for bildegjenkjenning, annonsemålretting og innholdsmoderering.

Zuckerbergs besettelse av å få hele verden til å bruke Facebook hadde funnet et kraftig nytt våpen. Teamene hadde tidligere brukt designtaktikker, som å eksperimentere med innholdet og frekvensen av varsler, for å prøve å koble brukere mer effektivt. Målet deres var blant annet å øke en beregning kalt L6/7, andelen personer som logget på Facebook seks av de siste syv dagene. L6/7 er bare en av utallige måter Facebook har målt engasjement på – folks tilbøyelighet til å bruke plattformen på noen måte, enten det er ved å legge ut ting, kommentere dem, like eller dele dem, eller bare se på dem. Nå ble hver brukerinteraksjon en gang analysert av ingeniører analysert av algoritmer. Disse algoritmene skapte mye raskere, mer personlige tilbakemeldingsløkker for å finpusse og skreddersy hver brukers nyhetsfeed for å fortsette å øke engasjementstallene.

Zuckerberg, som satt i sentrum av Building 20, hovedkontoret i Menlo Park-hovedkvarteret, plasserte de nye FAIR- og AML-teamene ved siden av ham. Mange av de opprinnelige AI-ansatte var så nærme at skrivebordet hans og deres praktisk talt rørte. Det var det indre helligdommen, sier en tidligere leder i AI-organisasjonen (grenen av Facebook som inneholder alle AI-teamene), som husker at administrerende direktør stokket folk inn og ut av hans nærhet ettersom de fikk eller mistet hans gunst. Det er slik du vet hva han tenker på, sier Quiñonero. Jeg var alltid, i et par år, noen få skritt fra Marks skrivebord.

Med nye maskinlæringsmodeller kommer online daglig, laget selskapet et nytt system for å spore deres innvirkning og maksimere brukerengasjementet. Prosessen er fortsatt den samme i dag. Lag trener opp en ny maskinlæringsmodell på FBLearner, enten de skal endre rangeringsrekkefølgen til innlegg eller for å bedre fange innhold som bryter med Facebooks fellesskapsstandarder (dets regler for hva som er og ikke er tillatt på plattformen). Deretter tester de den nye modellen på en liten undergruppe av Facebooks brukere for å måle hvordan den endrer engasjementmålinger, for eksempel antall likerklikk, kommentarer og delinger, sier Krishna Gade, som fungerte som ingeniørsjef for nyhetsfeeden fra 2016 til 2018 .

Hvis en modell reduserer engasjementet for mye, blir den forkastet. Ellers blir den distribuert og overvåket kontinuerlig. På Twitter, Gade forklart at ingeniørene hans ville få varsler med noen få dagers mellomrom når beregninger som likes eller kommentarer var nede. Deretter ville de tyde hva som hadde forårsaket problemet og om noen modeller trengte omskolering.

Men denne tilnærmingen skapte snart problemer. Modellene som maksimerer engasjementet favoriserer også kontroverser, feilinformasjon og ekstremisme: enkelt sagt, folk liker opprørende ting. Noen ganger oppildner dette eksisterende politiske spenninger. Det mest ødeleggende eksemplet hittil er tilfellet med Myanmar, der virale falske nyheter og hatefulle ytringer om den muslimske rohingya-minoriteten eskalerte landets religiøse konflikt til et fullverdig folkemord. Facebook innlagt i 2018 , etter år med bagatellisering av rollen sin, at den ikke hadde gjort nok for å forhindre at plattformen vår ble brukt til å fremme splittelse og oppfordre til offline vold.

Mens Facebook kan ha vært uvitende om disse konsekvensene i begynnelsen, studerte de dem innen 2016. I en intern presentasjon fra det året, gjennomgått av Wall Street Journal , fant en bedriftsforsker, Monica Lee, ut at Facebook ikke bare var vert for et stort antall ekstremistgrupper, men også promoterte dem til sine brukere: 64 % av alle ekstremistgrupper som blir med på grunn av våre anbefalingsverktøy, heter det i presentasjonen, hovedsakelig takket være modellene bak gruppene du bør bli med og oppdage funksjonene.

Spørsmålet til lederskap var: Bør vi optimalisere for engasjement hvis du finner ut at noen er i en sårbar sinnstilstand?

En tidligere AI-forsker som begynte i 2018

I 2017 dannet Chris Cox, Facebooks mangeårige produktsjef, en ny arbeidsgruppe for å forstå om maksimering av brukerengasjement på Facebook bidro til politisk polarisering. Den fant at det faktisk var en korrelasjon, og at å redusere polarisering ville bety å ta et slag på engasjement. I et dokument fra midten av 2018 gjennomgått av Journal, foreslo arbeidsgruppen flere potensielle rettelser, for eksempel å finjustere anbefalingsalgoritmene for å foreslå et mer mangfoldig utvalg av grupper som folk kan bli med i. Men den erkjente at noen av ideene var antivekst. De fleste av forslagene gikk ikke videre, og arbeidsgruppen ble oppløst.

Siden den gang har andre ansatte bekreftet disse funnene. En tidligere Facebook AI-forsker som ble med i 2018 sier at han og teamet hans utførte studie etter studie som bekreftet den samme grunnleggende ideen: modeller som maksimerer engasjement øker polariseringen. De kunne enkelt spore hvor sterkt brukere var enige eller uenige i ulike saker, hvilket innhold de likte å engasjere seg i, og hvordan deres holdninger endret seg som et resultat. Uansett problem, lærte modellene å gi brukere stadig mer ekstreme synspunkter. Over tid de målbart bli mer polarisert, sier han.

Forskerteamet fant også at brukere med en tendens til å legge ut eller engasjere seg i melankolsk innhold - et mulig tegn på depresjon - lett kunne spiral inn i å konsumere stadig mer negativt materiale som risikerte å forverre deres mentale helse ytterligere. Teamet foreslo å justere innholdsrangeringsmodellene for disse brukerne for å slutte å maksimere engasjementet alene, slik at de ville bli vist mindre av de deprimerende tingene. Spørsmålet til lederskap var: Bør vi optimalisere for engasjement hvis du finner ut at noen er i en sårbar sinnstilstand? husker han. (En Facebook-talsperson sa at hun ikke kunne finne dokumentasjon for dette forslaget.)

Relatert historie

Den rotete, hemmelighetsfulle virkeligheten bak OpenAIs forsøk på å redde verden AI moonshot ble grunnlagt i en ånd av åpenhet. Dette er den innvendige historien om hvordan konkurransepresset eroderte den idealismen.

Men alt som reduserte engasjementet, selv av grunner som å ikke forverre noens depresjon, førte til mye hemming og havari blant ledere. Med sine resultatvurderinger og lønn knyttet til vellykket gjennomføring av prosjekter, lærte ansatte raskt å droppe de som fikk tilbakeslag og fortsette å jobbe med de som ble diktert ovenfra og ned.

Et slikt prosjekt sterkt presset av bedriftsledere involverte å forutsi om en bruker kan være i faresonen for noe flere allerede hadde gjort: å livestreame sitt eget selvmord på Facebook Live. Oppgaven gikk ut på å bygge en modell å analysere kommentarene at andre brukere la ut en video etter at den hadde blitt publisert, og gjorde at brukere i risikogruppen ble oppmerksomme på trente Facebook-fellesskapsanmeldere som kunne ringe lokale nødhjelpspersonell for å utføre en velværesjekk. Det krevde ingen endringer i innholdsrangeringsmodeller, hadde ubetydelig innvirkning på engasjementet og avverget effektivt negativ presse. Det var også nesten umulig, sier forskeren: Det er mer et PR-stunt. Effektiviteten av å prøve å finne ut om noen kommer til å drepe seg selv i løpet av de neste 30 sekundene, basert på de første 10 sekundene med videoanalyse - du kommer ikke til å være veldig effektiv.

Facebook bestrider denne karakteriseringen, og sier at teamet som jobbet med dette arbeidet har siden vellykket forutsett hvilke brukere som var i faresonen og økt antall utførte velværekontroller. Men selskapet gir ikke ut data om nøyaktigheten av sine spådommer eller hvor mange velværesjekker som viste seg å være reelle nødsituasjoner.

Den tidligere ansatte lar i mellomtiden ikke lenger datteren bruke Facebook.

Quiñonero burde vært det perfekt plassert for å takle disse problemene da han opprettet SAIL-teamet (senere Responsible AI) i april 2018. Tiden hans som direktør for Applied Machine Learning hadde gjort ham godt kjent med selskapets algoritmer, spesielt de som ble brukt til å anbefale innlegg, annonser, og annet innhold til brukere.

Det så også ut til at Facebook var klare til å ta disse problemene på alvor. Mens tidligere anstrengelser for å jobbe med dem hadde vært spredt over hele selskapet, ble Quiñonero nå gitt et sentralisert team med spillerom i sitt mandat til å jobbe med det han så passende i skjæringspunktet mellom AI og samfunnet.

På den tiden var Quiñonero engasjert i sin egen omskolering om hvordan man kan være en ansvarlig teknolog. Feltet for AI-forskning ga stadig større oppmerksomhet til problemer med AI-bias og ansvarlighet i kjølvannet av høyprofilerte studier som viste at for eksempel en algoritme skåret svarte tiltalte som mer sannsynlig å bli arrestert på nytt enn hvite tiltalte som hadde blitt arrestert for samme eller en mer alvorlig lovbrudd. Quiñonero begynte å studere vitenskapelig litteratur om algoritmisk rettferdighet, lese bøker om etisk ingeniørkunst og teknologihistorien, og snakke med borgerrettighetseksperter og moralfilosofer.

WINNI WINTERMEYER

I løpet av de mange timene jeg tilbrakte med ham, kunne jeg fortelle at han tok dette på alvor. Han hadde sluttet seg til Facebook midt i den arabiske våren, en serie revolusjoner mot undertrykkende Midtøsten-regimer. Eksperter hadde hyllet sosiale medier for å spre informasjonen som førte til opprørene og gi folk verktøy til å organisere seg. Født i Spania, men oppvokst i Marokko, hvor han hadde sett undertrykkelsen av ytringsfriheten på egen hånd, følte Quiñonero en intens tilknytning til Facebooks potensiale som en kraft for det gode.

Seks år senere hadde Cambridge Analytica truet med å omgjøre dette løftet. Kontroversen tvang ham til å konfrontere sin tro på selskapet og undersøke hva det å bli ville bety for hans integritet. Jeg tror det som skjer med de fleste som jobber på Facebook – og definitivt har vært min historie – er at det ikke er noen grense mellom Facebook og meg, sier han. Det er ekstremt personlig. Men han valgte å bli og å lede SAIL, fordi han trodde han kunne gjøre mer for verden ved å hjelpe til med å snu selskapet enn ved å legge det bak seg.

Jeg tror at hvis du er i et selskap som Facebook, spesielt de siste årene, innser du virkelig hvilken innvirkning produktene dine har på folks liv – på hva de tenker, hvordan de kommuniserer, hvordan de samhandler med hverandre, sier Quiñonero's mangeårige venn Zoubin Ghahramani, som hjelper til med å lede Google Brain-teamet. Jeg vet at Joaquin bryr seg dypt om alle aspekter ved dette. Som en som streber etter å oppnå bedre og forbedre ting, ser han den viktige rollen han kan ha i å forme både tenkningen og retningslinjene rundt ansvarlig AI.

Til å begynne med hadde SAIL bare fem personer, som kom fra forskjellige deler av selskapet, men som alle var interessert i den samfunnsmessige påvirkningen av algoritmer. Et grunnleggende medlem, Isabel Kloumann, en forsker som kom fra selskapets kjernedatavitenskapsteam, tok med seg en første versjon av et verktøy for å måle skjevheten i AI-modeller.

Teamet brainstormet også mange andre ideer til prosjekter. Den tidligere lederen i AI-organisasjonen, som var til stede på noen av de tidlige møtene til SAIL, husker et forslag for å bekjempe polarisering. Det innebar å bruke sentimentanalyse, en form for maskinlæring som tolker meninger i tekstbiter, for bedre å identifisere kommentarer som uttrykte ekstreme synspunkter. Disse kommentarene ville ikke bli slettet, men de ville være skjult som standard med et alternativ for å avsløre dem, og dermed begrense antallet personer som så dem.

Og det var diskusjoner om hvilken rolle SAIL kunne spille innenfor Facebook og hvordan det skulle utvikle seg over tid. Følelsen var at teamet først skulle lage retningslinjer for ansvarlig AI for å fortelle produktteamene hva de burde eller ikke burde gjøre. Men håpet var at det til slutt skulle fungere som selskapets sentrale knutepunkt for å evaluere AI-prosjekter og stoppe de som ikke fulgte retningslinjene.

Tidligere ansatte beskrev imidlertid hvor vanskelig det kunne være å få buy-in eller økonomisk støtte når arbeidet ikke direkte forbedret Facebooks vekst. I sin natur var laget ikke tenkte på vekst, og i noen tilfeller var det å foreslå ideer som var i motsetning til vekst. Som et resultat fikk den få ressurser og forsvant. Mange av ideene forble stort sett akademiske.

29. august 2018, som plutselig endret seg. I oppkjøringen til det amerikanske mellomvalget, president Donald Trump og andre republikanske ledere rykket opp beskyldninger at Facebook, Twitter og Google hadde antikonservativ skjevhet. De hevdet at spesielt Facebooks moderatorer, ved å bruke fellesskapsstandardene, undertrykte konservative stemmer mer enn liberale. Denne siktelsen vil senere bli avkreftet , men hashtaggen #StopTheBias , drevet av en Trump-tweet, spredte seg raskt på sosiale medier.

For Trump var det den siste innsatsen for å så mistillit til landets mainstream informasjonsdistribusjonskanaler. For Zuckerberg truet det med å fremmedgjøre Facebooks konservative amerikanske brukere og gjøre selskapet mer sårbart for regulering fra en republikansk-ledet regjering. Det truet med andre ord selskapets vekst.

Facebook ga meg ikke et intervju med Zuckerberg, men tidligere rapportering har vist hvordan han i økende grad pleide Trump og den republikanske ledelsen. Etter at Trump ble valgt, rådet Joel Kaplan, Facebooks VP for global offentlig politikk og dens høyest rangerte republikaner, Zuckerberg til å trå forsiktig i det nye politiske miljøet.

20. september 2018, tre uker etter Trumps #StopTheBias tweet, holdt Zuckerberg et møte med Quiñonero for første gang siden SAILs opprettelse. Han ønsket å vite alt Quiñonero hadde lært om AI-bias og hvordan man kan oppheve det i Facebooks innholdsmodereringsmodeller. Ved slutten av møtet var én ting klar: AI-bias var nå Quiñoneros toppprioritet. Ledelsen har vært veldig, veldig påtrengende for å sørge for at vi skalerer dette aggressivt, sier Rachad Alao, ingeniørdirektøren for Responsible AI som begynte i april 2019.

Det var en seier for alle i rommet. Zuckerberg har en måte å avverge anklager om antikonservativ skjevhet. Og Quiñonero hadde nå mer penger og et større team for å gjøre den generelle Facebook-opplevelsen bedre for brukerne. De kunne bygge på Kloumanns eksisterende verktøy for å måle og korrigere den påståtte antikonservative skjevheten i innholdsmodereringsmodeller, samt for å korrigere andre typer skjevheter i de aller fleste modeller på tvers av plattformen.

Dette kan bidra til å forhindre at plattformen utilsiktet diskriminerer enkelte brukere. Da hadde Facebook allerede tusenvis av modeller som kjører samtidig, og nesten ingen hadde blitt målt for skjevhet. Det ville få det til juridiske problemer noen måneder senere med US Department of Housing and Urban Development (HUD), som påsto at selskapets algoritmer utledet beskyttede attributter som rase fra brukernes data og viste dem annonser for bolig basert på disse attributtene. – en ulovlig form for diskriminering. (Søksmålet er fortsatt under behandling.) Schroepfer spådde også at kongressen snart ville vedta lover til regulere algoritmisk diskriminering , så Facebook trengte å gjøre fremskritt med denne innsatsen uansett.

(Facebook bestrider ideen om at de fortsatte sitt arbeid med AI-bias for å beskytte vekst eller i påvente av regulering. Vi bygde Responsible AI-teamet fordi det var den rette tingen å gjøre, sa en talsperson.)

Men å begrense SAILs fokus til algoritmisk rettferdighet ville sidelinje alle Facebooks andre langvarige algoritmiske problemer. Dens innholdsanbefalingsmodeller vil fortsette å sende innlegg, nyheter og grupper til brukerne i et forsøk på å maksimere engasjementet, belønne ekstremistisk innhold og bidra til stadig mer splittet politisk diskurs.

Zuckerberg innrømmet til og med dette. To måneder etter møtet med Quiñonero, i et offentlig notat Han skisserte Facebooks planer for innholdsmoderering, og illustrerte de skadelige effektene av selskapets engasjementsstrategi med et forenklet diagram. Den viste at jo mer sannsynlig det er at et innlegg bryter Facebooks fellesskapsstandarder, jo mer brukerengasjement mottar det, fordi algoritmene som maksimerer engasjementet belønner provoserende innhold.

FACEBOOK

Men så viste han et annet diagram med det omvendte forholdet. I stedet for å belønne innhold som var nær brudd på fellesskapsstandardene, skrev Zuckerberg, kunne Facebook velge å begynne å straffe det, og gi det mindre distribusjon og engasjement i stedet for mer. Hvordan ville dette bli gjort? Med mer AI. Facebook ville utvikle bedre innholdsmodereringsmodeller for å oppdage dette grenseinnholdet, slik at det med tilbakevirkende kraft kunne skyves lavere i nyhetsfeeden for å fjerne viraliteten, sa han.

FACEBOOK

Problemet er at for alle Zuckerbergs løfter er denne strategien i beste fall spinkel.

Feilinformasjon og hatytringer utvikler seg hele tiden. Nye usannheter dukker opp; nye mennesker og grupper blir mål. For å fange opp ting før de blir virale, må innholdsmodereringsmodeller kunne identifisere nytt uønsket innhold med høy nøyaktighet. Men maskinlæringsmodeller fungerer ikke på den måten. En algoritme som har lært å gjenkjenne Holocaust-fornektelse, kan ikke umiddelbart oppdage, for eksempel, fornektelse av Rohingya-folkemord. Det må trenes på tusenvis, ofte til og med millioner, av eksempler på en ny type innhold før man lærer å filtrere det bort. Selv da kan brukere raskt lære å overliste modellen ved å gjøre ting som å endre ordlyden i et innlegg eller erstatte brennende fraser med eufemismer, noe som gjør budskapet deres uleselig for AI mens det fortsatt er åpenbart for et menneske. Dette er grunnen til at nye konspirasjonsteorier raskt kan komme ut av kontroll, og delvis hvorfor, selv etter at slikt innhold er forbudt, former for det kan fortsette på plattformen.

I sin New York Times-profil, Schroepfer kalt disse begrensningene av selskapets strategi for innholdsmoderering. Hver gang Schroepfer og hans mer enn 150 ingeniørspesialister lager A.I. løsninger som flagger og svelger skadelig materiale, nye og tvilsomme innlegg som A.I. systemer har aldri sett før dukker opp – og blir dermed ikke fanget opp, skrev Times. Det kommer aldri til å gå i null, sa Schroepfer til publikasjonen.

I mellomtiden jobber algoritmene som anbefaler dette innholdet fortsatt for å maksimere engasjementet. Dette betyr at hvert giftig innlegg som slipper unna innholdsmodereringsfiltrene vil fortsette å bli presset høyere opp i nyhetsfeeden og promotert for å nå et større publikum. Faktisk, a studie fra New York University fant nylig ut at blant partisanerte utgiveres Facebook-sider, fikk de som regelmessig postet politisk feilinformasjon mest engasjement i forkanten til det amerikanske presidentvalget i 2020 og Capitol-opptøyene. Det fikk meg på en måte, sier en tidligere ansatt som jobbet med integritetsspørsmål fra 2018 til 2019. Vi erkjente [dette] fullt ut, og likevel øker vi engasjementet.

Men Quiñoneros SAIL-team jobbet ikke med dette problemet. På grunn av Kaplans og Zuckerbergs bekymringer for å fremmedgjøre konservative, holdt teamet fokus på skjevhet. Og selv etter at det ble slått sammen til det større ansvarlige AI-teamet, ble det aldri mandat til å jobbe med innholdsanbefalingssystemer som kan begrense spredningen av feilinformasjon. Det har heller ikke noe annet team, som jeg bekreftet etter at Entin og en annen talsperson ga meg en fullstendig liste over alle Facebooks andre initiativer på integritetsspørsmål – selskapets paraplybetegnelse for problemer inkludert feilinformasjon, hatytringer og polarisering.

Relatert historie

Jeg begynte å gråte: Inne i Timnit Gebrus siste dager på Google – og hva som skjer videre .

En Facebook-talsperson sa at arbeidet ikke utføres av ett spesifikt team fordi det ikke er slik selskapet opererer. Det er i stedet fordelt på teamene som har den spesifikke ekspertisen til å takle hvordan innholdsrangering påvirker feilinformasjon for deres del av plattformen, sa hun. Men Schroepfer fortalte meg nøyaktig det motsatte i et tidligere intervju. Jeg hadde spurt ham hvorfor han hadde opprettet et sentralisert ansvarlig AI-team i stedet for å lede eksisterende team til å gjøre fremskritt i saken. Han sa at det var beste praksis i selskapet.

[Hvis] det er et viktig område, må vi bevege oss raskt på det, det er ikke godt definert, [vi oppretter] et dedikert team og får riktig ledelse, sa han. Etter hvert som et område vokser og modnes, vil du se at produktteamene tar på seg mer arbeid, men det sentrale teamet er fortsatt nødvendig fordi du må holde deg oppdatert med toppmoderne arbeid.

Da jeg beskrev det ansvarlige AI-teamets arbeid for andre eksperter på AI-etikk og menneskerettigheter, bemerket de uoverensstemmelsen mellom problemene de tok tak i og de, som feilinformasjon, som Facebook er mest beryktet for. Dette ser ut til å være så merkelig fjernet fra Facebook som et produkt – tingene Facebook bygger og spørsmålene om innvirkning på verden som Facebook står overfor, sa Rumman Chowdhury, hvis oppstart, Paritet , gir råd til firmaer om ansvarlig bruk av AI, og ble kjøpt opp av Twitter etter intervjuet vårt. Jeg hadde vist Chowdhury Quiñonero-teamets dokumentasjon som beskriver arbeidet deres. Jeg synes det er overraskende at vi skal snakke om inkludering, rettferdighet, rettferdighet, og ikke snakke om de virkelige problemene som skjer i dag, sa hun.

Det virker som om 'ansvarlig AI'-innramming er fullstendig subjektiv til hva et selskap bestemmer seg for å bry seg om. Det er som «Vi skal lage vilkårene og så følger vi dem», sier Ellery Roberts Biddle, redaksjonssjefen for Ranking Digital Rights, en ideell organisasjon som studerer teknologiselskapers innvirkning på menneskerettighetene. Jeg forstår ikke engang hva de mener når de snakker om rettferdighet. Synes de det er rettferdig å anbefale folk å slutte seg til ekstremistiske grupper, som de som stormet Capitol? Hvis alle får anbefalingen, betyr det at den var rettferdig?

Vi er på et sted hvor det er ett folkemord [Myanmar] som FN, med mye bevis, har kunnet spesifikt peke på Facebook og til måten plattformen promoterer innhold på, legger Biddle til. Hvor mye høyere kan innsatsen bli?

I løpet av de siste to årene, Quiñoneros team har bygget ut Kloumanns originale verktøy, kalt Fairness Flow. Den lar ingeniører måle nøyaktigheten til maskinlæringsmodeller for ulike brukergrupper. De kan sammenligne en ansiktsgjenkjenningsmodells nøyaktighet på tvers av forskjellige aldre, kjønn og hudtoner, eller en talegjenkjenningsalgoritmes nøyaktighet på tvers av forskjellige språk, dialekter og aksenter.

Fairness Flow kommer også med et sett med retningslinjer for å hjelpe ingeniører å forstå hva det betyr å trene en rettferdig modell. Et av de vanskeligere problemene med å gjøre algoritmer rettferdige er at det finnes ulike definisjoner av rettferdighet , som kan være gjensidig uforenlig. Fairness Flow lister opp fire definisjoner som ingeniører kan bruke i henhold til hvilke som passer deres formål best, for eksempel om en talegjenkjenningsmodell gjenkjenner alle aksenter med lik nøyaktighet eller med en minimumsterskel for nøyaktighet.

Men å teste algoritmer for rettferdighet er fortsatt stort sett valgfritt på Facebook. Ingen av teamene som jobber direkte på Facebooks nyhetsfeed, annonsetjeneste eller andre produkter er pålagt å gjøre det. Lønnsinsentiver er fortsatt knyttet til engasjement og vekstberegninger. Og selv om det er retningslinjer for hvilken rettferdighetsdefinisjon som skal brukes i en gitt situasjon, håndheves de ikke.

Dette siste problemet kom til syne da selskapet måtte forholde seg til påstander om antikonservativ skjevhet.

I 2014 ble Kaplan forfremmet fra amerikansk politikksjef til global visepresident for politikk, og han begynte å spille en mer tunghendt rolle i innholdsmoderering og beslutninger om hvordan du skal rangere innlegg i brukernes nyhetsfeeds. Etter at republikanere begynte å gi uttrykk for påstander om antikonservativ skjevhet i 2016, begynte teamet hans manuelt å gjennomgå virkningen av feilinformasjonsdeteksjonsmodeller på brukere for å sikre – blant annet – at de ikke straffet konservative uforholdsmessig.

Alle Facebook-brukere har rundt 200 egenskaper knyttet til profilen sin. Disse inkluderer ulike dimensjoner sendt inn av brukere eller estimert av maskinlæringsmodeller, for eksempel rase, politiske og religiøse holdninger, sosioøkonomisk klasse og utdanningsnivå. Kaplans team begynte å bruke egenskapene til å sette sammen tilpassede brukersegmenter som i stor grad reflekterte konservative interesser: brukere som engasjerte seg i konservativt innhold, grupper og sider, for eksempel. Deretter ville de kjørt spesielle analyser for å se hvordan beslutninger om innholdsmoderering ville påvirke innlegg fra disse segmentene, ifølge en tidligere forsker hvis arbeid var gjenstand for disse vurderingene.

Fairness Flow-dokumentasjonen, som Responsible AI-teamet skrev senere, inkluderer en casestudie om hvordan man bruker verktøyet i en slik situasjon. Når de skal avgjøre om en feilinformasjonsmodell er rettferdig med hensyn til politisk ideologi, skrev teamet, rettferdighet gjør det ikke betyr at modellen bør påvirke konservative og liberale brukere likt. Hvis konservative legger ut en større brøkdel av feilinformasjon, bedømt av offentlig konsensus, bør modellen flagge en større brøkdel av konservativt innhold. Hvis liberale legger ut mer feilinformasjon, bør det flagge innholdet deres oftere også.

Men medlemmer av Kaplans team fulgte nøyaktig den motsatte tilnærmingen: de tok rettferdighet til å bety at disse modellene ikke skulle påvirke konservative mer enn liberale. Når en modell gjorde det, ville de stoppe utplasseringen og kreve en endring. En gang blokkerte de en medisinsk feilinformasjonsdetektor som hadde redusert rekkevidden til antivaksinekampanjer merkbart, fortalte den tidligere forskeren. De fortalte forskerne at modellen ikke kunne distribueres før teamet fikset dette avviket. Men det gjorde faktisk modellen meningsløs. Da er det ingen vits, sier forskeren. En modell modifisert på den måten ville bokstavelig talt ikke ha noen innvirkning på det faktiske problemet med feilinformasjon.

Jeg forstår ikke engang hva de mener når de snakker om rettferdighet. Synes de det er rettferdig å anbefale folk å slutte seg til ekstremistiske grupper, som de som stormet Capitol? Hvis alle får anbefalingen, betyr det at den var rettferdig?

Ellery Roberts Biddle, redaksjonell leder for Ranking Digital Rights

Dette skjedde utallige andre ganger - og ikke bare for innholdsmoderering. I 2020 ble Washington Post rapporterte at Kaplans team hadde undergravd innsatsen for å redusere valginnblanding og polarisering i Facebook, og sa at de kunne bidra til antikonservativ skjevhet. I 2018 brukte den det samme argumentet for å skrinlegge et prosjekt for å redigere Facebooks anbefalingsmodeller, selv om forskere trodde det ville redusere splittelse på plattformen, ifølge Wall Street Journal . Hans påstander om politisk skjevhet svekket også et forslag om å redigere rangeringsmodellene for nyhetsstrømmen som Facebooks dataforskere mente ville styrke plattformen mot manipulasjonstaktikken Russland hadde brukt under det amerikanske valget i 2016.

Og foran valget i 2020 brukte Facebooks policyledere denne unnskyldningen, ifølge New York Times , for å nedlegge veto eller svekke flere forslag som ville ha redusert spredningen av hatefullt og skadelig innhold.

Facebook bestred Wall Street Journals rapportering en oppfølgingsblogg post, og utfordret New York Times karakterisering i et intervju med publikasjonen. En talsperson for Kaplans team benektet også overfor meg at dette var et atferdsmønster, og sa at sakene rapportert av Post, Journal og Times alle var individuelle tilfeller som vi mener er feilkarakterisert. Han nektet å kommentere omskoleringen av feilinformasjonsmodeller på posten.

Mange av disse hendelsene skjedde før Fairness Flow ble vedtatt. Men de viser hvordan Facebooks streben etter rettferdighet i tjeneste for vekst allerede hadde hatt en høy pris for å komme videre på plattformens andre utfordringer. Og hvis ingeniører brukte definisjonen av rettferdighet som Kaplans team hadde tatt i bruk, kunne Fairness Flow ganske enkelt systematisere atferd som belønnet feilinformasjon i stedet for å hjelpe til med å bekjempe den.

Ofte kom hele rettferdighetssaken bare inn som en praktisk måte å opprettholde status quo, sier den tidligere forskeren: Det ser ut til å fly i møte med tingene som Mark sa offentlig når det gjelder å være rettferdig og rettferdig.

Sist gang jeg snakket med Quiñonero var en måned etter US Capitol-opptøyene. Jeg ønsket å vite hvordan stormingen av Kongressen hadde påvirket tankegangen hans og retningen for arbeidet hans.

I videosamtalen var det som det alltid var: Quiñonero ringte inn fra hjemmekontoret i ett vindu og Entin, PR-behandleren hans, i et annet. Jeg spurte Quiñonero hvilken rolle han følte Facebook hadde spilt i opptøyene og om det endret oppgaven han så for Responsible AI. Etter en lang pause omgikk han spørsmålet, og lanserte en beskrivelse av det siste arbeidet han hadde gjort for å fremme større mangfold og inkludering blant AI-teamene.

Jeg stilte ham spørsmålet igjen. Facebook Portal-kameraet hans, som bruker datasynsalgoritmer for å spore høyttaleren, begynte sakte å zoome inn på ansiktet hans mens han vokste stille. Jeg vet ikke at jeg har et enkelt svar på det spørsmålet, Karen, sa han. Det er et ekstremt vanskelig spørsmål å stille meg.

Entin, som hadde gått raskt med et stoisk pokerfjes, grep en rød stressball.

Jeg spurte Quiñonero hvorfor teamet hans ikke tidligere hadde sett på måter å redigere Facebooks innholdsrangeringsmodeller for å dempe feilinformasjon og ekstremisme. Han fortalte meg at det var jobben til andre team (selv om ingen, som jeg bekreftet, har fått mandat til å jobbe med den oppgaven). Det er ikke mulig for ansvarlig AI-team å studere alle disse tingene selv, sa han. Da jeg spurte om han ville vurdere å la teamet hans takle disse problemene i fremtiden, innrømmet han vagt, jeg er enig med deg i at det kommer til å være omfanget av denne typen samtaler.

Nær slutten av vårt timelange intervju begynte han å understreke at AI ofte ble urettferdig malt som synderen. Uansett om Facebook brukte kunstig intelligens eller ikke, sa han, ville folk fortsatt spy ut løgner og hatefulle ytringer, og det innholdet vil fortsatt spre seg over plattformen.

Jeg presset ham en gang til. Han kunne absolutt ikke tro at algoritmer hadde gjort absolutt ingenting for å endre arten av disse problemene, sa jeg.

Jeg vet ikke, sa han med en stoppende stamming. Så gjentok han, med mer overbevisning: Det er mitt ærlige svar. Ærlig mot Gud. Jeg vet ikke.

Rettelser: Vi endret en linje som antydet at Joel Kaplan, Facebooks visepresident for global policy, hadde brukt Fairness Flow. Han har ikke. Men medlemmer av teamet hans har brukt forestillingen om rettferdighet til å be om omskolering av feilinformasjonsmodeller på måter som direkte motsier ansvarlig AI sine retningslinjer. Vi avklarte også når Rachad Alao, ingeniørdirektøren for Responsible AI , ble med i selskapet.