Jeg begynte å gråte: Inne i Timnit Gebrus siste dager på Google – og hva som skjer videre

.

Nhung Le

av

• Karen Hao arkivside

16. desember 2020

Nå har vi alle hørt en versjon av historien. 2. desember, etter en langvarig uenighet om utgivelsen av en forskningsartikkel, Google tvunget ut sin etiske AI-medleder, Timnit Gebru . Papiret var på risiko ved store språkmodeller , AI-modeller trent på svimlende mengder tekstdata, som er en forskningslinje for Googles virksomhet. Gebru, en ledende stemme innen AI-etikk, var en av de eneste svarte kvinnene på Google Research.

Flyttingen har siden utløst en debatt om økende bedriftens innflytelse over AI, den langvarige mangelen på mangfold innen teknologi, og hva det betyr å gjøre meningsfull AI-etikkforskning. Per 15. desember hadde over 2600 Google-ansatte og 4300 andre i akademia, industri og sivilsamfunn signerte et opprop fordømmer oppsigelsen av Gebru, og kaller det enestående forskningssensur og en gjengjeldelseshandling.

Relatert historie

Vi leste avisen som tvang Timnit Gebru ut av Google. Her er hva det står.

Selskapets etikk-stjerneforsker fremhevet risikoen ved store språkmodeller, som er nøkkelen til Googles virksomhet.

Gebru er kjent for grunnarbeid i avslører AI-diskriminering , utvikler seg metoder for å dokumentere og revisjon av AI-modeller , og tar til orde for større mangfold innen forskning. I 2016 var hun medstifter den ideelle organisasjonen Black in AI , som har blitt en sentral ressurs for borgerrettighetsaktivister, arbeidsorganisatorer og ledende AI-etikkforskere, som dyrker og fremhever Black AI-forskningstalent.

Å miste jobben bremset ikke Gebru. Uken etter deltok hun i flere workshops på NeurIPS, den største årlige AI-forskningskonferansen, som over 20 000 mennesker deltok på i år. Det var terapeutisk, sier hun, å se hvordan samfunnet hun hadde vært med på å bygge opp, dukket opp og støttet hverandre. Nå, enda en uke senere, slapper hun av og trekker pusten – og prøver å forstå det hele.

Mandag 14. desember tok jeg igjen Gebru via Zoom. Hun fortalte hva som skjedde under tiden hennes i Google, reflekterte over hva det betydde for feltet og AI-etikkforskningen, og ga avskjedsord til de som ønsker å fortsette å holde teknologiselskaper ansvarlige. Du kan også lytte til en spesiell episode av podcasten vår, In Machines We Trust, for høydepunkter fra intervjuet. (Google avslo en forespørsel om kommentar til innholdet i dette intervjuet.)

Følgende er redigert og komprimert.

Jeg ville først sjekke hvordan du har det.

Jeg føler at jeg egentlig ikke har hatt tid til å bearbeide alt som skjedde og dets konsekvenser følelsesmessig. Jeg bare går og går og går. Så jeg føler at jeg sannsynligvis vil falle fra hverandre på et tidspunkt når det er en liten pause. Men akkurat nå er jeg bare veldig bekymret for teamet mitt og menneskene som støtter meg, og hvilke typer risiko de tar, og sørger for at de ikke blir gjengjeldt.

Det har vært så mange beretninger om hva som har skjedd. Jeg ønsket å starte fra et mye tidligere punkt i denne historien. Hva gjorde at du opprinnelig valgte å jobbe i Google, og hvordan var Google den gang?

jeg tror Samy [Bengio, direktør ved Google AI] og Jeff [Dean, SVP for Google Research] var på Black in AI-verkstedet [ved NeurIPS i 2017]. De spurte meg hva jeg gjorde, og de sa: Å ja, du burde komme og jobbe hos Google. Jeg hadde ikke planlagt det. Jeg tok postdoktoren min på den tiden ved Microsoft Research [MSR]. Jeg hadde ikke funnet ut hva jeg skulle gjøre videre. Men jeg visste at jeg ville tilbake til Bay Area, og de opprettet et kontor i Accra, Ghana. Jeg tenkte det ville være bra for meg å hjelpe til med det.

Jeg hadde mange forbehold. Jeg var i New York City på MSR, og det var mange vokale kvinner der – Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Det var egentlig ikke fargede kvinner. De eneste svarte kvinnene jeg kjenner fra hele Microsoft Research er Danielle Bellgrave i Storbritannia og Shawndra Hill i New York. Men likevel var selv mennene veldig støttende. Jeg var veldig nølende med å gå til et miljø der jeg visste at Google Research ikke var kjent for sin forkjemper for kvinner. Det var en rekke problemer jeg hadde hørt gjennom hviskenettverkene mine. Faktisk, da jeg sa at jeg skulle gå til Google Research, satte en rekke mennesker meg ned. Så jeg gruet meg allerede, som Å, mann, ok, hva skal jeg til?

Jeg var definitivt den første svarte kvinnen som ble forsker ved Google. Etter meg har vi to svarte kvinner til. Det er, som, av så mange forskere. Hundre og hundre. Tre av Gud vet hvor mange.

De skuffet ikke. Det var bare konstant kamp. Jeg prøvde å nærme meg det som å snakke med folk, prøve å utdanne dem, prøve å få dem til å se et bestemt synspunkt. Jeg fortsatte å tenke at de kunne gjøre det bedre, vet du? Med Samy har han blitt en så stor talsmann. Folk klaget over at denne organisasjonen [Google Research] ansatt bare 14 % kvinner. Samy, min leder, ansatt 39 % kvinner. Det var ikke som om han hadde noe insentiv til å gjøre det overhodet. Han var den eneste grunnen til at jeg føler at dette ikke skjedde med meg før. Det er sannsynligvis fordi han beskyttet oss. Og ved å beskytte oss, ville han selv havne i trøbbel. Hvis andre ledere toner over deg, og du er for høylytt, du er som en bråkmaker – vi vet alle at det er det som skjer med folk som meg – så hvis noen forsvarer deg, vil de åpenbart også være et problem for de andre lederne.

Så det var mine to år hos Google. Jeg trodde faktisk at vi kanskje hadde fremgang helt til siste hendelse, fordi teamet vårt vokste. Det gikk fra nesten å gå i oppløsning – to måneder inn i tiden min hos Google skulle medlederen min, Meg Mitchell, slutte. Men så utvidet vi teamet vårt, og vi er nå 12 personer. Så jeg trodde at vi var på vei fremover.

Det var så mye snakk om mangfold og inkludering, men så mye hykleri. Jeg er en av 1,6 % svarte kvinner hos Google. I [Google] Research er den ikke 1,6 % – den er mye lavere. Jeg var definitivt den første svarte kvinnen som ble forsker ved Google. Etter meg har vi to svarte kvinner til. Det er, som, av så mange forskere. Hundre og hundre. Tre av Gud vet hvor mange.

Så på et tidspunkt var jeg akkurat som, vet du hva? Jeg vil ikke engang snakke om mangfold. Det er bare utmattende. De vil ha møter med deg, de hører ikke på deg, og så vil de ha møter med deg igjen. Jeg har skrevet en million dokumenter om en million mangfoldsrelaterte ting – om rasekunnskap og maskinlæring [ML], ML rettferdighetsinitiativer, om å beholde kvinner og problemene. Så mange dokumenter og så mange e-poster.

Så det har bare vært det ene etter det andre. Det har ikke vært en eneste ferie jeg tok på Google hvor jeg ikke var midt oppe i et eller annet problem. Det har bare aldri vært sjelefred. Se for deg at noen skyter på deg med en pistol og du skriker. Og i stedet for å prøve å stoppe personen som skyter på deg med en pistol, prøver de å stoppe deg fra å skrike. Det var slik det føltes. Det var bare så vondt å være i den posisjonen om og om igjen og om igjen.

Du bygde med hell et av de mest mangfoldige teamene i AI-industrien. Hva skulle egentlig til for å gjøre det?

Vi måtte kjempe mot alle slags ting. Jeg måtte være manager, og da ville ikke folk at jeg skulle være manager. Jeg tenkte: Ok, jeg har startet en veldig kjent ideell organisasjon. Hvorfor har du 'bekymringer' om at jeg er leder? Samy sa ikke dette til meg, men han måtte levere denne meldingen: Vet hun at hun kan få sparken for ting? Vet hun at hvis hun blir leder, må hun være en representant for Google? Så reiste folk bekymringer om at jeg virket misfornøyd på Google. Det er ikke sånn at det er en giftig kultur som gjør folk som henne ulykkelige. Så la oss fikse den kulturen. Nei, det var ikke samtalen. Samtalen var Hun ser ut til å være ulykkelig, så la oss ikke gjøre henne til en manager.

Jeg var sur på den tiden. Jeg var så sint. Jeg spurte alle andre som ble ledere på mitt nivå hva deres erfaring var. Jeg er som, denne personen ble en manager og ingen spurte dem om de visste at de kom til å få sparken for X, Y og Z. Denne andre personen ble en manager. Ingen måtte snakke med dem. Det var ingen diskusjon overhodet. For meg var det ikke sånn.

Se for deg at noen skyter på deg med en pistol og du skriker. Og i stedet for å prøve å stoppe personen som skyter på deg med en pistol, prøver de å stoppe deg fra å skrike.

En annen ting: vi ønsket å ansette samfunnsvitere. Mange ganger ansetter forskere bare vennene sine, og vi ønsket ikke å gjøre det. Vi ringte. Vi fikk 300 søknader. Vi så gjennom dem for hånd fordi vi ønsket å forsikre oss om at rekrutterere ikke filtrerte ut visse grupper av mennesker. Vi hadde en rask samtale med 20-something, vi hadde et intervju på stedet med 10 personer, og så ansatte vi to av dem.

Grunnen til at jeg trodde vi gjorde fremskritt var fordi vi var i stand til å skaffe ressurser til å ansette disse menneskene. Så jeg tenkte at kanskje Jeff begynte å støtte teamet vårt og støtte den typen ting vi gjorde. Jeg hadde aldri forestilt meg – jeg vet ikke nøyaktig hvordan denne tingen skjedde i det hele tatt – men jeg forestilte meg bare ikke at han skulle skrive under på det [fyringen min]. Jeg kan ikke forestille meg at han startet det, men til og med han som meldte seg på det var bare noe så overraskende for meg.

Var du i stand til å bygge relasjoner med andre team hos Google i løpet av tiden du bygde teamet? Ble visse deler av organisasjonen mer mottakelige for AI-etiske spørsmål?

De fleste på teamet vårt blir oversvømmet med forespørsler fra andre lag eller andre mennesker. Og en av utfordringene våre var å ikke alltid stå midt i en brann, fordi vi ville ha framsyn. Vi ønsket å forme hva som skjer i fremtiden og ikke bare reagere.

Den største mismatchen jeg ser er at det er så mange mennesker som respekterer oss, men så er det folk på toppen, som VP-er, som kanskje ikke tåler oss eller bare ikke respekterer vår autoritet eller ekspertise i det hele tatt. Jeg har sett det flere ganger. Men folk i Google Cloud, eller Cloud AI spesifikt, noen av toppledelsen – de var veldig støttende. Jeg følte at de virkelig respekterte lederskapet vårt, så de ville prøve å trekke oss inn i mange ting. På den annen side var denne siste fiaskoen ikke fra dem. Jeg har mine mistanker om hvilke VP-er det kom fra, og de respekterte absolutt ikke vår ekspertise eller ledelse.

Kan du snakke litt mer om det?

Vel, selv om du bare ser e-posten fra Jeff — Jeg antar at han ikke skrev denne e-posten; Jeg antar at noen skrev den og han sendte den – den snakker om hvordan forskningen vår [artikkel om store språkmodeller] hadde hull, den manglet litt litteratur. [E-posten virker ikke] som om de snakker med folk som er eksperter på området deres. Dette er ikke fagfellevurdering. Dette er ikke anmelder nr. 2 som forteller deg, hei, det mangler dette sitatet. Dette er en gruppe mennesker som vi ikke kjenner, som er høyt oppe fordi de har vært hos Google i lang tid, som av en eller annen ukjent grunn og prosess som jeg aldri har sett noen gang, ble gitt makten å legge ned denne forskningen.

Vi hadde 128 siteringer [på det papiret], og vi sendte papiret vårt til mange av disse menneskene vi siterte. Vi var så grundige. Jeg sa, ok, jeg vil samle folkene vi skal be om tilbakemelding fra i fire bøtter. Det ene er menneskene som har utviklet store språkmodeller selv, bare for å få deres perspektiv. Den ene er folk som jobber med å forstå og redusere skjevheten i disse modellene. Det ene er folk som kan være uenige i vårt syn. Det ene er folk som bruker disse store språkmodellene til ulike ting. Og vi har et helt dokument med alle disse tilbakemeldingene som vi skulle gå gjennom for å ta opp, og som jeg fortsatt vil gjøre før vi slipper dette arbeidet.

Men måten de [Google-ledelsen] snakket til oss på, var det ikke slik at de snakket med verdenskjente eksperter og lingvister. Som at Emily Bender [en professor ved University of Washington og en medforfatter av papiret] ikke er en tilfeldig person som bare satte navnet hennes på et tilfeldig papir der ute. Jeg følte at det hele var så respektløst.

Før denne spesielle artikkelen, var det tidligere tilfeller der du noen gang følte at Google begrenset eller begrenset teamets evne til å utføre forskning?

Jeg følte at det var tidligere tilfeller der de vannet ned forskningsresultatene mye. Folk hadde samtaler med PR og politikk eller hva som helst, og de ville ta problemer med visse formuleringer eller ta problemer med visse detaljer. Det var det jeg tenkte at de kunne prøve å gjøre med dette papiret også. Så jeg skrev et dokument, og jeg fortsatte å spørre dem: Hva er tilbakemeldingene dine? Er tilbakemeldingen din for å legge til en seksjon? Å fjerne? Hva betyr dette? Hva spør du oss om?

Dette var bokstavelig talt e-posten min på fredag ​​etter Thanksgiving [ 27. november, fem dager før Gebrus oppsigelse ] fordi jeg på Thanksgiving day hadde brukt dagen min på å skrive dette dokumentet i stedet for å ha det hyggelig med familien min. Dagen etter, på fredag, som er da jeg skulle trekke denne oppgaven tilbake, skrev jeg: Ok, jeg har skrevet dette seks-siders dokumentet som tar for seg på høyt og lavt nivå alle tilbakemeldinger jeg kan samle inn. Og jeg håper at det i det minste er en åpenhet for videre samtale fremfor bare ytterligere ordre. Jeg skrev den e-posten. Slik. Hvordan svarer Megan [Kacholia, VP of engineering ved Google Research] på denne e-posten? Mandag svarer hun på det og sier: Kan du bekrefte at du enten har trukket tilbake papiret eller tatt navnene på forfatterne ut av denne artikkelen. Takk skal du ha. Og kan du bekrefte etter at du har gjort dette. Send meg en e-post og bekreft. Som om jeg ikke har noe byrå.

Det er ikke det de gjør mot folk som har begått grov uredelighet. De gir dem 80 millioner dollar, og de gir dem en fin liten exit. De gjør ikke det de gjorde mot meg.

Så i det dokumentet skrev jeg at dette har vært ekstremt respektløst overfor Ethical AI-teamet, og det må være en samtale, ikke bare med Jeff og teamet vårt, og Megan og teamet vårt, men hele Research om respekt for forskere og hvordan man kan ha slike diskusjoner. Nei. Ikke noe engasjement i det.

Jeg gråt, forresten. Da jeg hadde det første møtet, som var torsdag før Thanksgiving, en dag før jeg skulle reise på ferie – da Megan fortalte oss at du må trekke denne avisen tilbake, begynte jeg å gråte. Jeg var så opprørt fordi jeg sa at jeg er så lei av konstant kamp her. Jeg tenkte at hvis jeg bare ignorerte alt dette DEI [mangfold, rettferdighet og inkludering] hykleri og andre ting, og jeg bare fokuserte på arbeidet mitt, så kunne jeg i det minste få arbeidet mitt gjort. Og nå kommer du for mitt arbeid. Så jeg begynte bokstavelig talt å gråte.

Hva tror du det var med denne avisen som berørte disse hendelsene? Tror du at det faktisk handlet om denne artikkelen, eller var det andre faktorer som spilte inn?

Jeg vet ikke. Samy ble forferdet over det hele. Han mente, det er ikke slik vi behandler forskere. Jeg mener, det er ikke slik man behandler folk generelt. Folk snakker om hvordan, hvis dette skjer med noen som har oppnådd dette - får det meg til å forestille meg hva de gjør med mennesker, spesielt mennesker i sårbare grupper.

De trodde nok jeg ville være veldig stille om det. Jeg vet ikke. Jeg tror ikke sluttresultatet bare handlet om dette papiret. Kanskje de ble overrasket over at jeg presset tilbake på noen som helst måte. Jeg prøver fortsatt å finne ut hva som skjedde.

Har du noen gang mistenkt, basert på de tidligere hendelsene og spenningene, at det ville ende på denne måten? Og forventet du samfunnets respons?

Jeg tenkte at de kunne gjøre meg elendig nok til å dra, eller noe sånt. Jeg tenkte at de ville være smartere enn å gjøre det på akkurat denne måten, fordi det er et sammenløp av så mange saker de har å gjøre med: forskningssensur, etisk AI, arbeidsrettigheter, DEI – alle tingene de har kommet under. brann for før. Så jeg forventet ikke at det skulle være på den måten – for eksempel kuttet bedriftskontoen min fullstendig. Det er så hensynsløst. Det er ikke det de gjør mot folk som har begått grov uredelighet. De gi dem 80 millioner dollar , og de gir dem en fin liten utgang, eller kanskje de passivt-aggressivt ikke promoterer dem, eller hva som helst. De gjør ikke mot menneskene som faktisk skaper et fiendtlig arbeidsmiljø det de gjorde mot meg.

Jeg fant ut av mine direkte rapporter, vet du? Som er så, så trist. De var bare så traumatiserte. Jeg tror teamet mitt holdt seg oppe til klokken 4 eller 5 sammen, og prøvde å forstå hva som skjedde. Og å gå rundt Samy - det hele var bare så forferdelig og hensynsløst.

Jeg tenkte at hvis jeg bare ... fokuserte på arbeidet mitt, så kunne jeg i det minste få arbeidet gjort. Og nå kommer du for mitt arbeid. Så jeg begynte bokstavelig talt å gråte.

Jeg forventet en viss mengde støtte, men jeg hadde definitivt ikke forventet mengden av utspill som det er. Det har vært utrolig å se. Jeg har aldri, aldri opplevd noe slikt. Jeg mener, tilfeldige slektninger sender meg tekstmeldinger, jeg så dette på nyhetene. Det er definitivt ikke noe jeg forventet. Men folk tar så mye risiko akkurat nå. Og det bekymrer meg, for jeg vil virkelig sørge for at de er trygge.

Du har nevnt at dette ikke bare handler om deg; det handler ikke bare om Google. Det er et sammenløp av så mange forskjellige problemstillinger. Hva sier denne spesielle erfaringen om teknologiselskapers innflytelse på AI generelt, og deres evne til å faktisk gjøre meningsfylt arbeid innen AI-etikk?

Du vet, det var en del mennesker sammenligne Big Tech og Big Tobacco , og hvordan de sensurerte forskning selv om de kjente til problemene en stund. Jeg trekker tilbake på akademia-versus-teknologi-dikotomien, fordi de begge har samme slags veldig rasistiske og sexistiske paradigme. Paradigmet du lærer og tar til Google eller hvor som helst starter i akademia. Og folk beveger seg. De går til industrien og så går de tilbake til akademia, eller omvendt. De er alle venner; de skal alle på de samme konferansene.

Jeg tror ikke lærdommen er at det ikke skal være AI-etisk forskning i teknologiselskaper, men jeg tror lærdommen er at a) det må være mye mer uavhengig forskning. Vi må ha flere valg enn bare DARPA [Defense Advanced Research Projects Agency] kontra selskaper. Og b) det må være tilsyn med teknologiselskaper, selvsagt. På dette tidspunktet forstår jeg bare ikke hvordan vi kan fortsette å tro at de kommer til å selvregulere på DEI eller etikk eller hva det nå er. De har ikke gjort det rette, og de kommer ikke til å gjøre det rette.

Jeg tror akademiske institusjoner og konferanser må revurdere forholdet til store selskaper og hvor mye penger de tar fra dem. Noen lurte til og med for eksempel på om noen av disse konferansene burde ha en adferdskodeks uten sensur eller noe sånt. Så jeg tror at det er mye disse konferansene og akademiske institusjonene kan gjøre. Det er for mye maktubalanse akkurat nå.

Hvilken rolle tror du etikkforskere kan spille hvis de er i bedrifter? Nærmere bestemt, hvis ditt tidligere team blir hos Google, hva slags vei ser du for dem når det gjelder deres evne til å produsere effektfullt og meningsfullt arbeid?

Jeg tror det må være en slags beskyttelse for slike mennesker, eller slike forskere. Akkurat nå er det åpenbart veldig vanskelig å forestille seg hvordan noen kan gjøre noen reell forskning innenfor disse selskapene. Men hvis du hadde arbeidsbeskyttelse, hvis du har varslerbeskyttelse, hvis du har litt mer tilsyn, kan det være lettere for folk å bli beskyttet mens de gjør denne typen arbeid. Det er veldig farlig hvis du har denne typen forskere som gjør det som min medleder kalte fikenblad—tildekning—arbeid. Som at vi ikke endrer noe, vi legger bare et fikenblad på kunsten. Hvis du er i et miljø der menneskene som har makt ikke er investert i å endre noe på ekte, fordi de ikke har noe som helst insentiv, vil det åpenbart ikke hjelpe i det hele tatt å ha denne typen forskere innebygd der. Men jeg tror at hvis vi kan skape ansvarlighets- og tilsynsmekanismer, beskyttelsesmekanismer, håper jeg at vi kan la forskere som dette fortsette å eksistere i selskaper. Men mye må endres for at det skal skje.

I tillegg til at konferanser eller regulering endrer insentivstrukturene, er det andre mekanismer eller ting du kan se er en del av dette eksterne tilsynsrammeverket? Ser du noen rolle som publikum kan spille for å holde teknologiselskaper ansvarlige?

Jeg må tenke mer på dette. Jeg tror at publikum trenger å bli mer utdannet i rollen som teknologiselskaper, og også AI, spiller i våre daglige liv. Mange mennesker har gjort en veldig god jobb med det. Folk har skrevet bøker— Weapons of Math Destruction var en veldig god bok for meg å lese. Det er Kodet skjevhet , dokumentaren. Jeg er også glad for at jeg begynner å se universiteter som tilbyr noen av disse timene i informatikk. Jeg synes de bør kreves. Nicki Washington har en klasse på Duke som jeg skulle ønske jeg kunne tatt. Ruha [Benjamin] har en klasse [på Princeton] . Jeg tror vår forståelse av hvordan vitenskap utvikles og hvordan ingeniørkunst utvikles - den må bare endres. Publikum må forstå den politiske karakteren av dette arbeidet. Høyere utdanningssystemer ligger etter min mening veldig etter på denne måten. De må gjøre mye arbeid.

Når det gjelder offentligheten, tror jeg at hvis jeg skulle gå tilbake til for tre, fire år siden, var det mye mindre bevissthet. Nå er enheter som ACLU [American Civil Liberties Union] sterkt involvert; du har Algorithmic Justice League , Data for Black Lives , gjør mye arbeid her. Så jeg tror at publikum kan lære mer. Men jeg tror dette handler mer om faktisk politikerne, fordi vi har en mekanisme for å involvere publikum i ulike ting. Men politikerne gir ikke publikum en måte å engasjere seg på. For eksempel, [dataanalyseselskap] Palantir ble brukt i New Orleans for prediktivt politiarbeid og ingen visste det. Det ble ingen avstemning. Det var ingen regning. Det var ingen diskusjon om det. Så vår regjering må aktivt gi publikum en sjanse til å veie inn i denne typen saker.

Hva betyr det å faktisk gjøre et meningsfullt AI-etisk arbeid?

Jeg tror kanskje det betyr at du kan stille spørsmål ved de grunnleggende premissene og grunnleggende spørsmålene til AI. Du trenger ikke bare dekke over ting, eller du trenger ikke bare være reaksjonær. Du kan ha peiling på fremtiden, og du kan komme tidlig inn mens produktene tenkes på og utvikles, og ikke bare gjøre ting i etterkant. Det er nummer én ting jeg tenker på. Og at menneskene som er mest berørt av teknologien bør ha et veldig stort å si, helt fra begynnelsen.

Du har nevnt før hvordan etikk i teknologiselskaper ofte kommer ovenfra og ned, fra folk som ikke nødvendigvis er de som blir påvirket av teknologien. Hva er den ideelle balansen mellom å faktisk ha marginaliserte stemmer som driver samtalen, samtidig som det er topplederskap?

Hvis folk i marginene ikke har makt, er det ingen insentiv for noen å lytte til dem eller få dem til å forme diskusjonen. Så jeg tror at folk på toppen trenger å skape et miljø der det er folk på kantene som er de som former diskusjonene om disse tingene, om AI-etikk, om mangfold og inkludering.

Vi blir undervist når vi lærer vitenskap objektivt, det som kalles utsikten fra ingensteds, som om du ikke skal bringe synspunktet ditt til det. Jeg synes folk burde gjøre det stikk motsatte.

Det er ikke det som skjer akkurat nå. Du går til Google og du ser alle folk på høyt nivå som driver AI-etikk – de er absolutt ikke engang folk fra underrepresenterte grupper i det hele tatt. Det var samtalen vi hadde da jeg var der, og mange av oss var veldig frustrerte over den. Vi hadde disse prinsippene kalt Ingenting om oss uten oss, og det aller første vi kom på var psykologisk sikkerhet. Kan du forestille deg? Det betyr ikke straff meg for å si fra, det er akkurat det de gjorde. Så du må søke innspill, men igjen, ikke gjør det på en rovaktig måte. Før du i det hele tatt tenker på produktene du bygger eller forskningen du gjør, må du begynne å forestille deg: hvordan kan du jobbe med folk i marginene for å forme denne teknologien?

Ser du på deg selv på en måte som en martyr?

Jeg prøvde ikke å være det, og jeg tror ikke jeg er en martyr akkurat nå. Jeg håper at jeg er mer en agent for endring. Men ja, Google har på en måte laget meg en, mer enn jeg ville ha vært hvis de ikke gjorde dette mot meg.

Hva er det neste for deg?

Å, mann. Jeg har ikke hatt tid til å tenke på det. Akkurat nå prøver jeg bokstavelig talt å sørge for at teamet mitt er trygt, sørge for at narrativet rundt hva som skjer med meg er nøyaktig, og ta en liten pust i bakken når jeg kan. Forhåpentligvis drikke litt vin, spise litt, spise sjokolade, henge med familien. Og kanskje jeg finner ut av det etterpå. Men min største prioritet er å ikke være i det miljøet jeg var i. Det er min største prioritet.

Hvilke råd har du til andre som ønsker å bygge videre på arbeidet du har gjort?

Mitt råd er å lese opp på noen av verkene jeg nevnte, spesielt av Kjole [Benjamin] , Meredith [Broussard] , Safiya [Edel] , Simone Browne , og en rekke andre mennesker. Og ta med din levde erfaring inn i det. Ikke prøv å ta deg selv ut av dette arbeidet. Det har mye med deg å gjøre. Så din vinkel og din styrke vil avhenge av hva din levde opplevelse er. Jeg holdt en tale kalt Hierarkiet for kunnskap og maskinlæring , og det handlet på en måte om det: Hvordan vi blir undervist når vi lærer vitenskap objektivt, det som kalles utsikten fra ingensteds, som om du ikke skal bringe synspunktet ditt til det. Jeg synes folk burde gjøre det stikk motsatte.

Oppdatering: Vi avklarte Samy Bengios stillingstittel og rettet en henvisning til en forsker. Timnit refererte til Jen Wortman Vaughan, en senior hovedforsker ved MSR, ikke Jen Chayes, en tidligere direktør i samme selskap.