Inne i kampen for å gjenvinne AI fra Big Techs kontroll

Bildet i øverste rad fra venstre: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Andre rad: Joy Buolamwini. Tredje rekke fra venstre: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru trodde aldri en vitenskapelig artikkel ville gjøre henne så mye trøbbel.

I 2020, som medleder for Googles etiske AI-team, hadde Gebru kontaktet Emily Bender , en lingvistikkprofessor ved University of Washington, og de to bestemte seg for å samarbeide om forskning om den urovekkende retningen til kunstig intelligens. Gebru ønsket å identifisere risikoen store språkmodeller , et av de mest imponerende nylige gjennombruddene innen AI-forskning. Modellene er algoritmer trent på svimlende mengder tekst. Under de rette forholdene kan de komponere noe som ser ut som overbevisende prosastykker.

Denne historien var en del av juli 2021-utgaven vår

• Se resten av saken
• Abonnere

I noen år hadde teknologiselskaper kjempet for å bygge større versjoner og integrere dem i forbrukerprodukter. Google, som oppfant teknikken, brukte allerede en for å forbedre relevansen til søkeresultatene. OpenAI annonserte den største, kalt GPT-3 , i juni 2020 og lisensierte den eksklusivt til Microsoft noen måneder senere.

Gebru var bekymret for hvor raskt teknologien ble utplassert. I avisen hun endte opp med å skrive sammen med Bender og fem andre, beskrev hun de mulige farene. Modellene var enormt kostbare å lage – både miljømessig (de krever enorme mengder regnekraft) og økonomisk; de ble ofte trent på det giftige og fornærmende språket på internett; og de hadde kommet til å dominere forskning innen språklig AI, og albue ut lovende alternativer.

Som andre eksisterende AI-teknikker, forstår ikke modellene språk. Men fordi de kan manipulere det for å hente tekstbasert informasjon for brukere eller generere naturlig samtale, kan de pakkes inn i produkter og tjenester som tjener teknologiselskaper mye penger.

Den november sendte Gebru papiret til en konferanse. Like etter ba Google-ledere henne om å trekke det tilbake, og da hun nektet, sparket de henne. To måneder senere gjorde de også sparket sin medforfatter Margaret Mitchell , den andre lederen av det etiske AI-teamet.

Demonteringen av dette teamet utløste en av de største kontroversene innen AI-verdenen i nyere tid. Forsvarere av Google hevdet at selskapet har rett til å føre tilsyn med sine egne forskere. Men for mange andre styrket det frykten for graden av kontroll som teknologigigantene nå har over feltet. Big Tech er nå den primære arbeidsgiveren og finansiereren av AI-forskere, inkludert, noe ironisk nok, mange av dem som vurderer dens sosiale konsekvenser.

Relatert historie

Vi leste avisen som tvang Timnit Gebru ut av Google. Her er hva det står.

Selskapets etikk-stjerneforsker fremhevet risikoen ved store språkmodeller, som er nøkkelen til Googles virksomhet.

Blant verdens rikeste og mektigste selskaper har Google, Facebook, Amazon, Microsoft og Apple gjort AI til kjernedelen av virksomheten deres. Fremskritt det siste tiåret, spesielt i en AI-teknikk kalt dyp læring , har latt dem overvåke brukernes oppførsel; anbefale nyheter, informasjon og produkter til dem; og mest av alt, målrett dem med annonser. I fjor genererte Googles annonseringsapparat over 140 milliarder dollar i inntekter. Facebook har tjent 84 milliarder dollar.

Selskapene har investert tungt i teknologien som har gitt dem så stor rikdom. Googles morselskap, Alphabet, kjøpte det London-baserte AI-laboratoriet DeepMind for 600 millioner dollar i 2014 og bruker hundrevis av millioner i året for å støtte forskningen. Microsoft signerte en avtale på 1 milliard dollar med OpenAI i 2019 for kommersialiseringsrettigheter til algoritmene.

Samtidig har teknologigigantene blitt store investorer i universitetsbasert AI-forskning, og har sterkt påvirket dens vitenskapelige prioriteringer. Gjennom årene har flere og flere ambisiøse forskere gått over til å jobbe for teknologigiganter på heltid eller adoptert en dobbel tilknytning. Fra 2018 til 2019 hadde 58 % av de mest siterte artikler på de to beste AI-konferansene minst én forfatter tilknyttet en teknologigigant, sammenlignet med bare 11 % et tiår tidligere, ifølge en studie utført av forskere i Radikalt AI-nettverk , en gruppe som søker å utfordre kraftdynamikken i AI.

Problemet er at bedriftens agenda for AI har fokusert på teknikker med kommersielt potensial, og i stor grad ignorert forskning som kan bidra til å møte utfordringer som økonomisk ulikhet og klimaendringer. Faktisk har det gjort disse utfordringene verre. Driften til å automatisere oppgaver har kostet jobber og ført til økningen av kjedelig arbeidskraft som datarensing og innholdsmoderering. Presset for å lage stadig større modeller har fått AIs energiforbruk til å eksplodere. Deep learning har også skapt en kultur der dataene våre hele tiden skrapes, ofte uten samtykke, for å trene opp produkter som ansiktsgjenkjenningssystemer. Og anbefalingsalgoritmer har forverret politisk polarisering, mens store språkmodeller ikke har klart å rydde opp i feilinformasjon.

Det er denne situasjonen Gebru og en voksende bevegelse av likesinnede forskere ønsker å endre. I løpet av de siste fem årene har de forsøkt å flytte feltets prioriteringer bort fra bare å berike teknologiselskaper, ved å utvide hvem som får delta i utviklingen av teknologien. Målet deres er ikke bare å redusere skadene forårsaket av eksisterende systemer, men å skape en ny, mer rettferdig og demokratisk AI.

Hei fra Timnit

I desember 2015 satte Gebru seg ned for å skrive et åpent brev. Halvveis i doktorgraden ved Stanford deltok hun på konferansen Neural Information Processing Systems, den største årlige AI-forskningssamlingen. Av de mer enn 3700 forskerne der, telte Gebru bare en håndfull som var svarte.

En gang et lite møte om et nisjefaglig emne, ble NeurIPS (som det nå er kjent) raskt den største årlige AI-jobbbonanzaen. Verdens rikeste selskaper kom for å vise frem demoer, arrangere ekstravagante fester og skrive heftige sjekker for de sjeldneste menneskene i Silicon Valley: dyktige AI-forskere.

Det året kom Elon Musk for å kunngjøre den ideelle satsingen OpenAI . Han, Y Combinators daværende president Sam Altman, og PayPals medgründer Peter Thiel hadde lagt inn 1 milliard dollar for å løse det de mente var et eksistensielt problem: utsiktene til at en superintelligens en dag kunne ta over verden. Deres løsning: bygg en enda bedre superintelligens. Av de 14 rådgiverne eller medlemmene av det tekniske teamet han salvet, var 11 hvite menn.

RICARDO SANTOS | HJÆLPSFOTO

Mens Musk ble lionisert, hadde Gebru å gjøre med ydmykelse og trakassering. På en konferansefest ringte en gruppe fulle gutter i Google Research T-skjorter rundt henne og utsatte henne for uønskede klemmer, et kyss på kinnet og et bilde.

Gebru skrev en skarp kritikk av det hun hadde observert: skuespillet, den kultaktige tilbedelsen av AI-kjendiser, og mest av alt, den overveldende homogeniteten. Denne guttens klubbkultur, skrev hun, hadde allerede skjøvet talentfulle kvinner ut av banen. Det førte også hele samfunnet mot en farlig snever oppfatning av kunstig intelligens og dens innvirkning på verden.

Google hadde allerede implementert en datasynsalgoritme som klassifiserte svarte mennesker som gorillaer, bemerket hun. Og den økende sofistikeringen av ubemannede droner satte det amerikanske militæret på vei mot dødelige autonome våpen. Men det var ingen omtale av disse problemene i Musks store plan for å stoppe AI fra å ta over verden i et teoretisk fremtidsscenario. Vi trenger ikke projisere inn i fremtiden for å se AIs potensielle negative effekter, skrev Gebru. Det skjer allerede.

Gebru publiserte aldri refleksjonen sin. Men hun innså at noe måtte endres. 28. januar 2016 sendte hun en e-post med emnelinjen Hallo fra Timnit til fem andre Black AI-forskere. Jeg har alltid vært trist over mangelen på farger i AI, skrev hun. Men nå har jeg sett 5 av dere :) og tenkte at det ville vært kult om vi startet en svart i AI-gruppe eller i det minste kjenner til hverandre.

E-posten førte til en diskusjon. Hva var det med å være svart som informerte forskningen deres? For Gebru var arbeidet hennes i høy grad et produkt av hennes identitet; for andre var det ikke det. Men etter møtet ble de enige: Hvis AI skulle spille en større rolle i samfunnet, trengte de flere svarte forskere. Ellers ville feltet produsere svakere vitenskap – og dets negative konsekvenser kan bli langt verre.

En profittdrevet agenda

Som Svart i AI hadde akkurat begynt å smelte sammen, tok AI sitt kommersielle skritt. Det året, 2016, brukte teknologigiganter anslagsvis 20 til 30 milliarder dollar på å utvikle teknologien, ifølge McKinsey Global Institute.

Oppvarmet av bedriftsinvesteringer ble feltet skjevt. Tusenvis flere forskere begynte å studere AI, men de ønsket for det meste å jobbe med dyplæringsalgoritmer, slik som de bak store språkmodeller. Som en ung PhD-student som ønsker å få jobb i et teknologiselskap, innser du at teknologiselskaper handler om dyp læring, sier Suresh Venkatasubramanian, en informatikkprofessor som nå tjener ved Det hvite hus Office of Science and Technology Policy. Så du flytter all forskning til dyp læring. Så ser den neste doktorgradsstudenten seg rundt og sier: «Alle driver med dyp læring. Jeg burde nok også gjort det.’

Men dyp læring er ikke den eneste teknikken i feltet. Før dens boom var det en annen AI-tilnærming kjent som symbolsk resonnement. Mens dyp læring bruker enorme mengder data for å lære algoritmer om meningsfulle relasjoner i informasjon, fokuserer symbolsk resonnement på eksplisitt koding av kunnskap og logikk basert på menneskelig ekspertise.

Noen forskere mener nå at disse teknikkene bør kombineres. Den hybride tilnærmingen vil gjøre AI mer effektiv i bruken av data og energi, og gi den kunnskapen og resonneringsevnen til en ekspert, så vel som kapasiteten til å oppdatere seg selv med ny informasjon. Men selskaper har lite insentiv til å utforske alternative tilnærminger når den sikreste måten å maksimere fortjenesten på er å bygge stadig større modeller.

I papiret sitt refererte Gebru og Bender til en grunnleggende kostnad ved denne tendensen til å holde seg til dyp læring: de mer avanserte AI-systemene vi trenger utvikles ikke, og lignende problemer gjentar seg stadig. Facebook, for eksempel, er avhengig av store språkmodeller for automatisert innholdsmoderering. Men uten egentlig å forstå meningen bak teksten, mislykkes ofte disse modellene. De tar regelmessig ned ufarlige innlegg mens de gir hatytringer og feilinformasjon et pass.

AI-baserte ansiktsgjenkjenningssystemer lider av det samme problemet. De er trent på enorme mengder data, men ser bare pikselmønstre – de har ikke grep om visuelle konsepter som øyne, munn og nese. Det kan utløse disse systemene når de brukes på personer med en annen hudtone enn personene de ble vist under trening. Likevel har Amazon og andre selskaper solgt disse systemene til rettshåndhevelse. I USA har de forårsaket tre kjente tilfeller av at politiet har fengslet feil person – alle svarte menn – det siste året.

I årevis har mange i AI-samfunnet stort sett akseptert Big Techs rolle i å forme utviklingen og virkningen av disse teknologiene. Mens noen uttrykte ubehag med bedriftsovertakelsen, ønsket mange flere industriens dype finansieringsbrønn velkommen.

Men etter hvert som manglene ved dagens AI har blitt tydeligere – både dens manglende evne til å løse sosiale problemer og de økende eksemplene på at det kan forverre dem – har troen på Big Tech svekket. Googles utsetting av Gebru og Mitchell satte ytterligere fart på diskusjonen ved å avsløre hvor mye selskaper vil prioritere profitt fremfor selvpoliti.

Umiddelbart etter signerte over 2600 Google-ansatte og 4300 andre en underskriftskampanje som fordømte Gebrus oppsigelse som enestående forskningssensur. Et halvt år senere avviser forskergrupper fortsatt selskapets finansiering, forskere nekter å delta i konferanseverkstedene, og ansatte drar i protest.

I motsetning til for fem år siden, da Gebru begynte å stille disse spørsmålene, er det nå en veletablert bevegelse som stiller spørsmål ved hva AI skal være og hvem det skal tjene. Dette er ikke en tilfeldighet. Det er i stor grad et produkt av Gebrus eget initiativ, som begynte med den enkle handlingen å invitere flere svarte forskere inn i feltet.

Det krever en konferanse

I desember 2017 var den nye Black in AI-gruppen vertskap for sin første workshop på NeurIPS. Mens han organiserte workshopen, henvendte Gebru seg til Joy Buolamwini, en MIT Media Lab-forsker som studerte kommersielle ansiktsgjenkjenningssystemer for mulig skjevhet. Buolamwini hadde begynt å teste disse systemene etter at en ikke klarte å oppdage hennes eget ansikt med mindre hun tok på seg en hvit maske. Hun sendte inn sine foreløpige resultater til workshopen.

Deborah Raji, den gang en forsker på lavere grad, var en annen tidlig deltaker. Raji var forferdet over kulturen hun hadde observert på NeurIPS. Verkstedet ble hennes pusterom. Å gå fra fire eller fem dager med det til en hel dag med folk som ser ut som meg som snakker om å lykkes på dette området – det var en så viktig oppmuntring for meg, sier hun.

Buolamwini, Raji og Gebru skulle fortsette å jobbe sammen om et par banebrytende studier om diskriminerende datasynssystemer. Buolamwini og Gebru var medforfatter Kjønnsnyanser , som viste at ansiktsgjenkjenningssystemene solgt av Microsoft, IBM og den kinesiske teknologigiganten Megvii hadde bemerkelsesverdig høye feilrater på svarte kvinner til tross for nesten perfekt ytelse på hvite menn. Raji og Buolamwini samarbeidet deretter om en oppfølging kalt Handlingsbar revisjon , som fant det samme for Amazons anerkjennelse. I 2020 ville Amazon gå med på en ett års moratorium for politisalg av produktet, delvis på grunn av det arbeidet.

Relatert historie

Jeg begynte å gråte: Inne i Timnit Gebrus siste dager på Google – og hva som skjer videre .

På det aller første Black in AI-verkstedet var imidlertid disse suksessene fjerne muligheter. Det var ingen annen agenda enn å bygge fellesskap og produsere forskning basert på deres sårt mangelfulle perspektiver. Mange tilskuere forsto ikke hvorfor en slik gruppe trengte å eksistere. Gebru husker avvisende kommentarer fra enkelte i AI-miljøet. Men for andre pekte Black in AI en ny vei fremover.

Dette var sant for William Agnew og Raphael Gontijo Lopes, begge skeive menn som forsket innen informatikk, som innså at de kunne danne en Queer in AI-gruppe. (Andre grupper som tok form inkluderer Latinx i AI, {Dis}Ability in AI og Muslim i ML.) Spesielt for Agnew føltes det som et presserende behov å ha et slikt fellesskap. Det var vanskelig i det hele tatt å se for meg at jeg hadde et lykkelig liv, sier han og reflekterer over mangelen på skeive forbilder på feltet. Det er Turing, men han begikk selvmord. Så det er deprimerende. Og den skeive delen av ham blir bare ignorert.

Ikke alle medlemmer av affinitetsgruppe ser en sammenheng mellom deres identitet og forskning. Likevel har hver gruppe etablert spesiell kompetanse. Black in AI har blitt det intellektuelle senteret for å avsløre algoritmisk diskriminering, kritisere overvåking og utvikle dataeffektive AI-teknikker. Queer in AI har blitt et senter for å bestride måtene algoritmer krenker folks personvern på og klassifisere dem i avgrensede kategorier som standard.

Venkatasubramanian og Gebru var også med på å opprette konferansen Fairness, Accountability, and Transparency (FAccT) for å skape et forum for forskning på sosiale og politiske implikasjoner av AI. Ideer og utkast til artikler diskutert på NeurIPS tilknytningsgruppeworkshops blir ofte grunnlaget for artikler publisert på FAccT, som deretter viser frem denne forskningen til et bredere publikum.

Det var for eksempel etter at Buolamwini presenterte på den første Black in AI-workshopen at FAccT publiserte Gender Shades. Sammen med Actionable Auditing drev det deretter flere store utdannings- og påvirkningskampanjer for å begrense regjeringens bruk av ansiktsgjenkjenning. Da Amazon forsøkte å undergrave legitimiteten til Buolamwinis og Rajis forskning, slo dusinvis av AI-forskere og sivilsamfunnsorganisasjoner seg sammen for å forsvare dem, og var et forvarsel om hva de senere skulle gjøre for Gebru. Denne innsatsen bidro til slutt til Amazons moratorium, som i mai kunngjorde selskapet at det ville forlenges på ubestemt tid.

Forskningen satte også i gang en kaskade av regulering. Mer enn et dusin byer har forbudt politiets bruk av ansiktsgjenkjenning, og Massachusetts krever nå at politiet får en dommers tillatelse til å bruke den. Både USA og EU-kommisjonen har foreslått tilleggsregulering.

Først måtte vi bare være der, sier Gebru. Og på et tidspunkt begynner det Black in AI sier å bli viktig. Og hva alle disse gruppene sammen sier blir viktig. Du må høre på oss nå.

Følg pengene

Etter Gebru og Mitchells sparking, kjemper feltet på nytt med et eldgammelt spørsmål: Er det mulig å endre status quo mens man jobber innenfra? Gebru mener fortsatt å jobbe med teknologigiganter er den beste måten å identifisere problemene på. Men hun mener også at bedriftsforskere trenger sterkere rettsvern. Hvis de ser risikofylt praksis, bør de kunne dele sine observasjoner offentlig uten å sette karrieren i fare.

Så er det spørsmålet om finansiering. Mange forskere ønsker mer investeringer fra amerikanske myndigheter for å støtte arbeid som er kritisk til kommersiell AI-utvikling og fremmer offentlig velferd. I fjor forpliktet den en liten milliard dollar til ikke-forsvarsrelatert AI-forskning. Biden-administrasjonen ber nå kongressen investere ytterligere 180 milliarder dollar i nye teknologier, med AI som en toppprioritet.

Slik finansiering kan hjelpe folk som Abebe kommer tilbake , en assisterende professor i informatikk ved University of California, Berkeley. Abebe, som også var med på å grunnlegge Black in AI, kom inn i AI med ideer om å bruke det til å fremme sosial rettferdighet. Men da hun startet sin doktorgrad ved Cornell, var det ingen som var fokusert på å gjøre slik forskning.

Høsten 2016 startet hun som doktorgradsstudent en liten Cornell-lesegruppe med en medstudent for å studere emner som boligustabilitet, tilgang til helsetjenester og ulikhet. Hun begynte deretter på et nytt prosjekt for å se om hennes beregningsevner kunne støtte innsatsen for å lindre fattigdom.

Til slutt fant hun Poverty Tracker-studien, et detaljert datasett om økonomiske sjokk – uventede utgifter som medisinske regninger eller parkeringsbilletter – opplevd av mer enn 2000 New York-familier. Over mange samtaler med studiens forfattere, sosialarbeidere og ideelle organisasjoner som betjener marginaliserte samfunn, lærte hun om deres behov og fortalte dem hvordan hun kunne hjelpe. Abebe utviklet deretter en modell som viste hvordan frekvensen og typen sjokk påvirket en families økonomiske status.

Fem år senere pågår prosjektet fortsatt. Hun samarbeider nå med ideelle organisasjoner for å forbedre modellen sin og jobber med beslutningstakere gjennom California Policy Lab for å bruke den som et verktøy for å forhindre hjemløshet. Lesegruppen hennes har også siden vokst til et samfunn med 2000 personer og holder sin første konferanse senere i år.

Abebe ser det som en måte å motivere flere forskere til å snu AI-normene. Mens tradisjonelle informatikkkonferanser legger vekt på å fremme beregningsteknikker for å gjøre det, vil den nye publisere arbeid som først søker å forstå et sosialt problem dypt. Arbeidet er ikke mindre teknisk, men det bygger grunnlaget for at mer sosialt meningsfylt AI kan dukke opp.

Disse endringene vi kjemper for – det er ikke bare for marginaliserte grupper, sier hun. Det er faktisk for alle.

gjemme seg