Kappløpet om å forstå den spennende, farlige verdenen av språk AI

Ariel Davis

Den 18. mai annonserte Googles administrerende direktør Sundar Pichai et imponerende nytt verktøy: et AI-system kalt LaMDA som kan chatte med brukere om alle emner.

Til å begynne med planlegger Google å integrere LaMDA i sin hovedsøkeportal, sin stemmeassistent og Workplace, sin samling av skybasert jobbprogramvare som inkluderer Gmail, Dokumenter og Drive. Men det endelige målet, sa Pichai, er å lage et samtalegrensesnitt som lar folk hente all slags informasjon – tekst, visuell, lyd – på tvers av alle Googles produkter bare ved å spørre.

LaMDAs utrulling signaliserer enda en måte som språkteknologier blir viklet inn i våre daglige liv. Men Googles prangende presentasjon motbeviste den etiske debatten som nå omgir slike banebrytende systemer. LaMDA er det som er kjent som en stor språkmodell (LLM) – en dyplæringsalgoritme trent på enorme mengder tekstdata.

Studier har allerede vist hvordan rasistiske, sexistiske og krenkende ideer er innebygd i disse modellene. De forbinder kategorier som leger med menn og sykepleiere med kvinner; gode ord med hvite mennesker og dårlige med svarte mennesker. Undersøk dem med de riktige spørsmålene, og de begynner også å oppmuntre til ting som folkemord , selvskading , og seksuelle overgrep mot barn . På grunn av størrelsen har de en sjokkerende høyt karbonavtrykk . På grunn av deres flyt, de lett forvirre folk til å tenke at et menneske skrev sine utdata, noe eksperter advarer kan muliggjøre masseproduksjon av feilinformasjon.

I desember fjernet Google sin etiske AI-medleder Timnit Gebru etter hun nektet trekke tilbake et papir som gjorde mange av disse punktene. Noen måneder senere, etter omfattende oppsigelse av det et åpent brev fra Google-ansatte kalte selskapets enestående forskningssensur, sparket det også Gebrus medforfatter og medleder Margaret Mitchell.

Det er ikke bare Google som implementerer denne teknologien. De høyest profilerte språkmodellene så langt har vært OpenAI GPT-2 og GPT-3 , som spyr ut bemerkelsesverdig overbevisende tekstpassasjer og kan til og med brukes til å fullføre musikkkomposisjoner og datakode. Microsoft nå eksklusivt lisensierer GPT-3 å innlemme i ennå uanmeldte produkter. Facebook har utviklet sine egne LLM-er for oversettelse og innholdsmoderering. Og startups lager dusinvis av produkter og tjenester basert på teknologigigantenes modeller. Snart nok vil alle våre digitale interaksjoner – når vi e-poster, søker eller legger ut på sosiale medier – filtreres gjennom LLM-er.

Dessverre blir det gjort svært lite forskning for å forstå hvordan feilene ved denne teknologien kan påvirke mennesker i virkelige applikasjoner, eller for å finne ut hvordan man kan designe bedre LLM-er som reduserer disse utfordringene. Som Google understreket i sin behandling av Gebru og Mitchell, har de få selskapene som er rike nok til å trene og vedlikeholde LLM-er en stor økonomisk interesse i å avslå å undersøke dem nøye. LLM-er blir med andre ord i økende grad integrert i den språklige infrastrukturen til internett på toppen av vaklende vitenskapelige grunnlag.

Mer enn 500 forskere rundt om i verden raser nå for å lære mer om mulighetene og begrensningene til disse modellene. Arbeider sammen under BigScience-prosjektet ledet av Huggingface, en oppstart som tar en åpen vitenskapelig tilnærming til å forstå naturlig-språkbehandling (NLP), søker de å bygge en åpen kildekode LLM som vil tjene som en delt ressurs for det vitenskapelige samfunnet. Målet er å generere så mye stipend som mulig i løpet av et enkelt fokusert år. Deres sentrale spørsmål: Hvordan og når bør LLM-er utvikles og distribueres for å høste fordelene deres uten skadelige konsekvenser?

Vi kan egentlig ikke stoppe denne galskapen rundt store språkmodeller, der alle ønsker å trene dem, sier Thomas Wolf, vitenskapssjef ved Huggingface, som er medleder i initiativet. Men det vi kan gjøre er å prøve å dytte dette i en retning som til slutt er mer fordelaktig.

Stokastiske papegøyer

I samme måned som BigScience startet sine aktiviteter, kom en startup ved navn Cohere stille ut av stealth. Startet av tidligere Google-forskere, lover det å bringe LLM-er til enhver bedrift som vil ha en – med én enkelt kodelinje. Den har utviklet en teknikk for å trene og være vert for sin egen modell med ledige utklipp av beregningsressurser i et datasenter, som holder nede kostnadene ved å leie ut nødvendig skyplass for vedlikehold og distribusjon.

Blant de tidlige kundene er oppstarten Det er støtte , en plattform for å bygge uten kode kundestøtte chatbots, som selv har kunder som Facebook og Zoom. Og Coheres investorliste inkluderer noen av de største navnene på feltet: datasynspioner Fei-Fei Li, Turing Award-vinner Geoffrey Hinton og Apples leder for AI, Ian Goodfellow.

Cohere er en av flere startups og initiativer som nå søker å bringe LLM-er til ulike bransjer. Det er også Aleph Alpha, en oppstart basert i Tyskland som søker å bygge en tysk GPT-3 ; en ikke navngitt satsning startet av flere tidligere OpenAI-forskere; og åpen kildekode-initiativet Eleuther, som nylig lanserte GPT-Neo , en gratis (og noe mindre kraftig) reproduksjon av GPT-3.

Men det er gapet mellom hva LLM-er er og hva de ønsker å være som har bekymret et økende antall forskere. LLM-er er effektivt verdens kraftigste autofullføringsteknologier. Ved å innta millioner av setninger, avsnitt og til og med eksempler på dialog lærer de de statistiske mønstrene som styrer hvordan hvert av disse elementene skal settes sammen i en fornuftig rekkefølge. Dette betyr at LLM-er kan forbedre visse aktiviteter: for eksempel er de gode for å lage mer interaktive og konversasjonsflytende chatbots som følger et veletablert manus . Men de forstår faktisk ikke hva de leser eller sier. Mange av de mest avanserte funksjonene til LLM-er i dag er også kun tilgjengelig på engelsk.

Relatert historie

Vi leste avisen som tvang Timnit Gebru ut av Google. Her er hva det står.

Selskapets etikk-stjerneforsker fremhevet risikoen ved store språkmodeller, som er nøkkelen til Googles virksomhet.

Dette er blant annet hva Gebru, Mitchell og fem andre forskere advarte om i papiret sitt, som kaller LLMs stokastiske papegøyer. Språkteknologi kan være veldig, veldig nyttig når den er passende omfang og plassert og innrammet, sier Emily Bender, professor i lingvistikk ved University of Washington og en av medforfatterne av artikkelen. Men den generelle karakteren til LLM-er – og overtalelsesevnen til deres etterligning – lokker selskaper til å bruke dem på områder de ikke nødvendigvis er utstyrt for.

I en nylig keynote på en av de største AI-konferansene, knyttet Gebru denne forhastede distribusjonen av LLM-er til konsekvenser hun hadde opplevd i sitt eget liv. Gebru er født og oppvokst i Etiopia, hvor en eskalerende krig har herjet den nordligste Tigray-regionen. Etiopia er også et land hvor det snakkes 86 språk, nesten alle som ikke er gjort rede for i vanlige språkteknologier.

Til tross for at LLM-er har disse språklige manglene, stoler Facebook sterkt på dem for å automatisere innholdsmodereringen globalt. Da krigen i Tigray første gang brøt ut i november, så Gebru plattformflyndret for å få tak på mengde feilinformasjon. Dette er emblematisk for et vedvarende mønster som forskere har observert i innholdsmoderasjon. Fellesskap som snakker språk ikke prioritert av Silicon Valley lider av de mest fiendtlige digitale miljøene.

Gebru bemerket at det heller ikke er her skaden slutter. Når falske nyheter, hatefulle ytringer og til og med drapstrusler ikke modereres, blir de deretter skrapet som treningsdata for å bygge neste generasjon LLM-er. Og disse modellene, som papegøyer tilbake det de er trent på, ender opp med å gjengi disse giftige språklige mønstrene på internett.

I mange tilfeller har forskere ikke undersøkt grundig nok til å vite hvordan denne toksisiteten kan manifestere seg i nedstrømsapplikasjoner. Men noe stipend finnes. I boken hennes fra 2018 Algoritmer for undertrykkelse , Safiya Noble, en førsteamanuensis i informasjon og afroamerikanske studier ved University of California, Los Angeles, dokumenterte hvordan skjevheter innebygd i Google-søk opprettholder rasisme og, i ekstreme tilfeller, kanskje til og med motiverer til rasemessig vold.

Konsekvensene er ganske alvorlige og betydelige, sier hun. Google er ikke bare den primære kunnskapsportalen for gjennomsnittsborgere. Det gir også informasjonsinfrastrukturen for institusjoner, universiteter og statlige og føderale myndigheter.

Google bruker allerede en LLM for å optimalisere noen av søkeresultatene. Med sin siste kunngjøring av LaMDA og et nylig forslag det publisert i et preprint papir, har selskapet gjort det klart at det bare vil øke sin avhengighet av teknologien. Noble bekymringer for at dette kan gjøre problemene hun avdekket enda verre: Det faktum at Googles etiske AI-team ble sparket for å reise svært viktige spørsmål om de rasistiske og sexistiske diskrimineringsmønstrene innebygd i store språkmodeller burde ha vært en vekker.

BigScience

BigScience-prosjektet startet som direkte respons på det økende behovet for vitenskapelig gransking av LLM-er. Ved å observere teknologiens raske spredning og Googles forsøk på sensur av Gebru og Mitchell, innså Wolf og flere kolleger at det var på tide for forskningsmiljøet å ta saken i egne hender.

Inspirert av åpne vitenskapelige samarbeid som CERN innen partikkelfysikk, unnfanget de en idé for en åpen kildekode LLM som kunne brukes til å utføre kritisk forskning uavhengig av ethvert selskap. I april i år mottok gruppen et stipend for å bygge den ved hjelp av den franske regjeringens superdatamaskin.

Hos teknologiselskaper bygges LLM-er ofte av bare et halvt dusin personer som først og fremst har teknisk ekspertise. BigScience ønsket å bringe inn hundrevis av forskere fra et bredt spekter av land og disipliner for å delta i en virkelig samarbeidende modellkonstruksjonsprosess. Wolf, som er fransk, henvendte seg først til det franske NLP-samfunnet. Derfra snøballte initiativet til en global operasjon som omfattet mer enn 500 mennesker.

Samarbeidet er nå løst organisert i et dusin arbeidsgrupper og teller, som hver tar tak i ulike aspekter ved modellutvikling og etterforskning. En gruppe vil måle modellens miljøpåvirkning, inkludert karbonavtrykket ved trening og drift av LLM og ta hensyn til livssykluskostnadene til superdatamaskinen. En annen vil fokusere på å utvikle ansvarlige måter å hente treningsdataene på – å søke alternativer til bare å skrape data fra nettet, for eksempel transkribere historiske radioarkiver eller podcaster. Målet her er å unngå giftig språkbruk og innsamling av privat informasjon uten samtykke.

Relatert historie

Hvorfor GPT-3 er den beste og verste AI akkurat nå

Open AIs språk AI imponerte publikum med sin tilsynelatende mestring av engelsk – men er det hele en illusjon?

Andre arbeidsgrupper er dedikert til å utvikle og evaluere modellens flerspråklighet. Til å begynne med har BigScience valgt åtte språk eller språkfamilier, inkludert engelsk, kinesisk, arabisk, indisk (inkludert hindi og urdu) og bantu (inkludert swahili). Planen er å jobbe tett med alle språksamfunn for å kartlegge så mange av deres regionale dialekter som mulig og sikre at de distinkte datavernnormene blir respektert. Vi vil at folk skal ha en mening om hvordan dataene deres brukes, sier Yacine Jernite, en Huggingface-forsker.

Poenget er ikke å bygge et kommersielt levedyktig LLM for å konkurrere med slike som GPT-3 eller LaMDA. Modellen blir for stor og for treg til å være nyttig for bedrifter, sier Karën Fort, førsteamanuensis ved Sorbonne. I stedet blir ressursen designet rent for forskning. Hvert datapunkt og hver modellbeslutning blir nøye og offentlig dokumentert, så det er lettere å analysere hvordan alle delene påvirker modellens resultater. Det handler ikke bare om å levere det endelige produktet, sier Angela Fan, en Facebook-forsker. Vi ser for oss hver eneste del av den som et leveringssted, som en gjenstand.

Prosjektet er utvilsomt ambisiøst – mer globalt ekspansivt og samarbeidende enn noe AI-fellesskapet har sett før. Logistikken ved å koordinere så mange forskere er i seg selv en utfordring. (Det er faktisk en arbeidsgruppe for det også.) Dessuten bidrar hver enkelt forsker på frivillig basis. Tilskuddet fra den franske regjeringen dekker kun beregningsressurser, ikke menneskelige ressurser.

Men forskere sier at det felles behovet som brakte fellesskapet sammen har gitt et imponerende nivå av energi og fremdrift. Mange er optimistiske om at ved slutten av prosjektet, som vil vare til mai neste år, vil de ikke bare ha produsert dypere stipend om begrensningene til LLM, men også bedre verktøy og praksis for å bygge og distribuere dem på en ansvarlig måte.

Arrangørene håper dette vil inspirere flere mennesker i industrien til å innlemme denne praksisen i sin egen LLM-strategi, selv om de er de første til å innrømme at de er idealistiske. Om noe, vil det store antallet forskere involvert, inkludert mange fra teknologigiganter, bidra til å etablere nye normer i NLP-fellesskapet.

På noen måter har normene allerede endret seg. Som svar på samtaler rundt sparkingen av Gebru og Mitchell, hørte Cohere fra flere av sine kunder at de var bekymret for teknologiens sikkerhet. På nettstedet inkluderer det en side på nettstedet med et løfte om å kontinuerlig investere i teknisk og ikke-teknisk forskning for å redusere de mulige skadene til modellen. Den sier at den også vil sette sammen et rådgivende råd bestående av eksterne eksperter for å hjelpe det med å lage retningslinjer for tillatt bruk av teknologiene.

NLP er ved et veldig viktig vendepunkt, sier Fort. Derfor er BigScience spennende. Det lar samfunnet presse forskningen fremover og gi et håpefullt alternativ til status quo i industrien: Den sier: 'La oss ta et nytt pass. La oss ta det sammen – for å finne ut alle måtene og alle tingene vi kan gjøre for å hjelpe samfunnet.»

Jeg vil at NLP skal hjelpe folk, sier hun, ikke å legge dem ned.

Oppdater: Coheres ansvarsinitiativ er avklart.

gjemme seg