Vi leste avisen som tvang Timnit Gebru ut av Google. Her er hva det står.

Selskapets etikk-stjerneforsker fremhevet risikoen ved store språkmodeller, som er nøkkelen til Googles virksomhet.





  • Karen Hao arkivside
4. desember 2020 Timnit Gebru

med tillatelse av Timnit Gebru

På kvelden onsdag 2. desember kunngjorde Timnit Gebru, medlederen for Googles etiske AI-team. via Twitter at selskapet hadde tvunget henne ut.

Gebru, en høyt respektert leder innen AI-etikkforskning, er kjent for å være medforfatter et banebrytende papir som viste at ansiktsgjenkjenning er mindre nøyaktig når det gjelder å identifisere kvinner og farger, noe som betyr at bruken kan ende opp med å diskriminere dem. Hun var også med på å grunnlegge Black in AI-tilhørighetsgruppen, og forkjemper mangfold i teknologibransjen . Teamet hun hjalp til med å bygge hos Google er et av de mest mangfoldige innen AI og inkluderer mange ledende eksperter i seg selv. Kolleger i feltet misunnet det for å produsere kritisk arbeid som ofte utfordret mainstream AI-praksis.



TIL serie med tweets , lekkede e-poster , og medieartikkel viste at Gebrus utgang var kulminasjonen av en konflikt om en annen artikkel hun var medforfatter. Jeff Dean, sjefen for Google AI, fortalte kolleger i en intern e-post (som han har siden sette på nett ) at avisen ikke oppfylte kravet vårt for publisering og at Gebru hadde sagt at hun ville trekke seg med mindre Google oppfylte en rekke betingelser, som de ikke var villig til å oppfylle. Gebru twitret det hun hadde bedt om å forhandle en siste dato for jobben etter at hun kom tilbake fra ferie. Hun ble avskåret fra bedriftens e-postkonto før hun kom tilbake.

På nettet hevder mange andre ledere innen AI-etikk at selskapet presset henne ut på grunn av de ubeleilige sannhetene hun avdekket om en kjernelinje i forskningen – og kanskje dens bunnlinje. Mer enn 1400 Google-ansatte og 1900 andre støttespillere har også signerte et protestbrev .

Mange detaljer om det nøyaktige hendelsesforløpet som førte til Gebrus avgang er ennå ikke klart; både hun og Google har nektet å kommentere utover innleggene deres på sosiale medier. Men MIT Technology Review innhentet en kopi av forskningsoppgaven fra en av medforfatterne, Emily M. Bender, en professor i datalingvistikk ved University of Washington. Selv om Bender ba oss om å ikke publisere selve avisen fordi forfatterne ikke ønsket at et så tidlig utkast skulle sirkulere på nettet, gir det et visst innblikk i spørsmålene Gebru og hennes kolleger stilte om AI som kan forårsake bekymring hos Google.



Om farene ved stokastiske papegøyer: Kan språkmodeller være for store? legger opp risikoen ved store språkmodeller – AI-er som er trent på svimlende mengder tekstdata. Disse har vokst stadig mer populært -og stadig større – de siste tre årene. De er nå usedvanlig gode, under de rette forholdene, til å produsere noe som ser ut som overbevisende, meningsfull ny tekst – og noen ganger til å estimere mening ut fra språket. Men, heter det i introduksjonen til oppgaven, vi spør om det er lagt nok vekt på de potensielle risikoene forbundet med å utvikle dem og strategier for å redusere disse risikoene.

Avisen

Artikkelen, som bygger på andre forskeres arbeid, presenterer historien om naturlig språkbehandling, en oversikt over fire hovedrisikoer ved store språkmodeller og forslag til videre forskning. Siden konflikten med Google ser ut til å dreie seg om risikoene, har vi fokusert på å oppsummere dem her.

Miljømessige og økonomiske kostnader

Trening av store AI-modeller bruker mye databehandlingskraft, og dermed mye strøm. Gebru og hennes medforfattere viser til en artikkel fra 2019 fra Emma Strubell og hennes samarbeidspartnere om karbonutslipp og finansielle kostnader av store språkmodeller. Den fant at energiforbruket og karbonfotavtrykket deres har eksplodert siden 2017, ettersom modellene har blitt matet med mer og mer data.



Strubells studie fant at å trene en språkmodell med en bestemt type nevrale arkitektursøk (NAS) metode ville ha produsert tilsvarende 626 155 pund (284 metriske tonn) karbondioksid – omtrent levetiden til fem gjennomsnittlige amerikanske biler. Opplæring av en versjon av Googles språkmodell, BERT, som underbygger selskapets søkemotor , produserte 1438 pund CO2-ekvivalent i Strubells estimat - nesten det samme som en tur-retur-flyvning mellom New York City og San Francisco. Disse tallene bør sees på som minimum, kostnadene ved å trene en modell én gang. I praksis trenes og omskoles modeller mange ganger under forskning og utvikling.

Gebrus utkast påpeker at ressursene som kreves for å bygge og opprettholde slike store AI-modeller betyr at de har en tendens til å være til fordel for velstående organisasjoner, mens klimaendringene rammer marginaliserte samfunn hardest. Det er på tide for forskere å prioritere energieffektivitet og kostnader for å redusere negativ miljøpåvirkning og urettferdig tilgang på ressurser, skriver de.

Massive data, uransakelige modeller

Store språkmodeller trenes også på eksponentielt økende tekstmengder. Dette betyr at forskere har forsøkt å samle inn all data de kan fra internett, så det er en risiko for at rasistisk, sexistisk og ellers krenkende språk ender opp i treningsdataene.



En AI-modell som er lært opp til å se på rasistisk språk som normalt, er åpenbart dårlig. Forskerne påpeker imidlertid et par mer subtile problemer. Den ene er at endringer i språket spiller en viktig rolle i sosial endring; MeToo og Black Lives Matter-bevegelsene har for eksempel forsøkt å etablere et nytt anti-sexistisk og antirasistisk vokabular. En AI-modell trent på store deler av internett vil ikke være tilpasset nyansene i dette vokabularet og vil ikke produsere eller tolke språk i tråd med disse nye kulturelle normene.

Den vil heller ikke fange opp språket og normene til land og folk som har mindre tilgang til internett og dermed et mindre språklig fotavtrykk på nett. Resultatet er at AI-generert språk vil bli homogenisert, noe som gjenspeiler praksisen til de rikeste landene og samfunnene.

Dessuten, fordi treningsdatasettene er så store, er det vanskelig å revidere dem for å se etter disse innebygde skjevhetene. En metodikk som er avhengig av datasett som er for store til å dokumentere, er derfor i seg selv risikabelt, konkluderer forskerne. Mens dokumentasjon åpner for potensiell ansvarlighet, opprettholder [...] udokumenterte opplæringsdata skade uten klage.

Forskningsmulighetskostnader

Forskerne oppsummerer den tredje utfordringen som risikoen for feilrettet forskningsinnsats. Selv om de fleste AI-forskere erkjenner at store språkmodeller ikke faktisk forstå Språk og er bare gode på manipulere Big Tech kan tjene penger på modeller som manipulerer språk mer nøyaktig, så den fortsetter å investere i dem. Denne forskningsinnsatsen fører med seg en alternativkostnad, skriver Gebru og hennes kolleger. Det går ikke så mye krefter i å jobbe med AI-modeller som kanskje oppnår forståelse, eller som oppnår gode resultater med mindre, mer nøye kurerte datasett (og dermed også bruker mindre energi).

Illusjoner av mening

Det siste problemet med store språkmodeller, sier forskerne, er at fordi de er så flinke til å etterligne ekte menneskelig språk, er det lett å bruke dem til å lure folk. Det har vært noen få høyprofilerte saker, som f.eks høyskolestudent som la ut AI-generert selvhjelp og produktivitetsråd på en blogg som gikk viralt.

Farene er åpenbare: AI-modeller kan brukes til å generere feilinformasjon om et valg eller covid-19-pandemien, for eksempel. De kan også gå feil utilsiktet når de brukes til maskinoversettelse. Forskerne tar opp et eksempel: I 2017, Facebook feiloversatt en palestinsk manns post, som sa god morgen på arabisk, som angrep dem på hebraisk, noe som førte til arrestasjonen hans.

Hvorfor det betyr noe

Gebru og Benders artikkel har seks medforfattere, hvorav fire er Google-forskere. Bender ba om å unngå å avsløre navnene deres i frykt for konsekvenser. (Bender er derimot en fast professor: Jeg tror dette understreker verdien av akademisk frihet, sier hun.)

Avisens mål, sier Bender, var å gjøre en oversikt over landskapet til gjeldende forskning innen naturlig språkbehandling. Vi jobber i en skala der menneskene som bygger tingene faktisk ikke kan få armene rundt dataene, sa hun. Og fordi fordelene er så åpenbare, er det spesielt viktig å gå tilbake og spørre oss selv, hva er de mulige ulempene? … Hvordan får vi fordelene av dette samtidig som vi reduserer risikoen?

I sin interne e-post sa Dean, Google AI-sjefen, at en grunn til at papiret ikke oppfylte linjen vår, var at det ignorerte for mye relevant forskning. Spesifikt sa han at den ikke nevnte nyere arbeid med hvordan man kan gjøre store språkmodeller mer energieffektive og redusere problemer med skjevheter.

Imidlertid trakk de seks samarbeidspartnerne på en bred bredde av stipend. Avisens sitatliste, med 128 referanser, er spesielt lang. Det er den typen arbeid som ingen enkeltpersoner eller forfatterpar kan utføre, sa Bender. Det krevde virkelig dette samarbeidet.

Versjonen av artikkelen vi så, nikker også til flere forskningsinnsats for å redusere størrelsen og beregningskostnadene til store språkmodeller, og på å måle den innebygde skjevheten til modeller. Den hevder imidlertid at denne innsatsen ikke har vært nok. Jeg er veldig åpen for å se hvilke andre referanser vi burde inkludere, sa Bender.

Nicolas Le Roux, en Google AI-forsker ved Montreal-kontoret, senere notert på Twitter at begrunnelsen i Deans e-post var uvanlig. Mine bidrag ble alltid sjekket for avsløring av sensitivt materiale, aldri for kvaliteten på litteraturgjennomgangen, sa han.

Deans e-post sier også at Gebru og hennes kolleger ga Google AI bare en dag for en intern gjennomgang av papiret før de sendte det til en konferanse for publisering. Han skrev at målet vårt er å konkurrere med fagfellevurderte tidsskrifter når det gjelder strengheten og omtenksomheten i hvordan vi vurderer forskning før publisering.

Bender bemerket at konferansen likevel ville sette papiret gjennom en betydelig gjennomgangsprosess: Stipend er alltid en samtale og alltid et arbeid som pågår, sa hun.

Andre, inkludert William Fitzgerald, en tidligere Google PR-sjef, har sår ytterligere tvil på Deans påstand.

Google var banebrytende for mye av den grunnleggende forskningen som siden har ført til den nylige eksplosjonen i store språkmodeller. Google AI var den første som oppfant Transformatorspråkmodell i 2017 som fungerer som grunnlaget for selskapets senere modell BERT, og OpenAIs GPT-2 og GPT-3. BERT, som nevnt ovenfor, driver nå også Google Search, selskapets cash cow.

Bender bekymrer seg for at Googles handlinger kan skape en avslappende effekt på fremtidig AI-etikkforskning. Mange av de beste ekspertene på AI-etikk jobber i store teknologiselskaper fordi det er der pengene er. Det har vært gunstig på mange måter, sier hun. Men vi ender opp med et økosystem som kanskje har insentiver som ikke er de aller beste for vitenskapens fremgang for verden.

Oppdatering (7. desember): Ytterligere detaljer er lagt til for å klargjøre miljøkostnadene ved store språkmodeller.

gjemme seg