Dette kan føre til det neste store gjennombruddet innen sunn fornuft AI

Ms Tech | Pexels

Du har sikkert hørt oss si dette utallige ganger: GPT-3, den gigantiske AI-en som spyr ut et uhyggelig menneskelignende språk, er et vidunder. Det er også i stor grad å se . Du kan si det med et enkelt triks: Spør det fargen på sauer , og det vil det foreslå svart like ofte som hvitt – noe som gjenspeiler uttrykket svarte får i vårt folkespråk.

Det er problemet med språkmodeller: fordi de kun er trent på tekst, mangler de sunn fornuft. Nå har forskere fra University of North Carolina, Chapel Hill, utviklet en ny teknikk for å endre det. De kaller det vokenisering, og det gir språkmodeller som GPT-3 muligheten til å se.

Det er ikke første gang folk har forsøkt å kombinere språkmodeller med datasyn. Dette er faktisk et raskt voksende område innen AI-forskning. Tanken er at begge typer AI har forskjellige styrker. Språkmodeller som GPT-3 trenes opp gjennom uovervåket læring, som ikke krever manuell datamerking, noe som gjør dem enkle å skalere. Bildemodeller som objektgjenkjenningssystemer lærer derimot mer direkte fra virkeligheten. Med andre ord, deres forståelse er ikke avhengig av hva slags abstraksjon av verden teksten gir. De kan se på bilder av sauer at de faktisk er hvite.

Relatert historie

Disse rare, foruroligende bildene viser at AI blir smartere Modeller lærer å generere bilder fra bildetekster, et tegn på at de blir bedre til å forstå vår verden.

AI-modeller som kan analysere både språk og visuelle input har også svært praktiske bruksområder. Hvis vi for eksempel vil bygge robotassistenter, trenger de datasyn for å navigere i verden og språk for å kommunisere om det til mennesker.

Men å kombinere begge typer AI er lettere sagt enn gjort. Det er ikke så enkelt som å stifte sammen en eksisterende språkmodell med et eksisterende objektgjenkjenningssystem. Det krever opplæring av en ny modell fra bunnen av med et datasett som inkluderer tekst og bilder, ellers kjent som et visuelt-språkdatasett.

Den vanligste tilnærmingen for å kurere et slikt datasett er å kompilere en samling bilder med beskrivende bildetekster. Et bilde som det nedenfor, for eksempel, vil ha bildeteksten En oransje katt sitter i kofferten klar til å pakkes. Dette skiller seg fra typiske bildedatasett, som vil merke det samme bildet med bare ett substantiv, som katt. Et datasett på visuelt språk kan derfor lære en AI-modell ikke bare hvordan man gjenkjenner objekter, men hvordan de forholder seg til og virker på hverandre, ved å bruke verb og preposisjoner.

Men du kan se hvorfor denne datakureringsprosessen vil ta evigheter. Dette er grunnen til at datasettene på det visuelle språket som finnes er så ynkelige. Et populært tekstdatasett som engelsk Wikipedia (som faktisk inkluderer nesten alle engelskspråklige Wikipedia-oppføringer) kan inneholde nesten 3 milliarder ord. Et visuelt datasett som Microsoft Common Objects in Context, eller MS COCO, inneholder bare 7 millioner. Det er rett og slett ikke nok data til å trene en AI-modell for noe nyttig.

Vokenization kommer rundt dette problemet ved å bruke uovervåkede læringsmetoder for å skalere den lille mengden data i MS COCO til størrelsen på engelsk Wikipedia. Den resulterende visuelle språkmodellen overgår de nyeste modellene i noen av de vanskeligste testene som brukes til å evaluere AI-språkforståelse i dag.

Du slår ikke toppmoderne på disse testene ved bare å prøve litt, sier Thomas Wolf, medgründer og vitenskapssjef for oppstarten Hugging Face for naturlig språkbehandling, som ikke var en del av forskningen. Dette er ikke en lekeprøve. Derfor er dette superspennende.

Fra tokens til vokens

La oss først finne ut litt terminologi. Hva i all verden er en voken?

I AI speak er ordene som brukes til å trene språkmodeller kjent som tokens. Så UNC-forskerne bestemte seg for å kalle bildet assosiert med hvert token i deres visuelle språkmodell en voken. Vokenizer er det de kaller algoritmen som finner vokens for hvert token, og vokenisering er det de kaller hele prosessen.

Poenget med dette er ikke bare å vise hvor mye AI-forskere elsker å finne opp ord. (Det gjør de virkelig.) Det bidrar også til å bryte ned den grunnleggende ideen bak vokenisering. I stedet for å starte med et bildedatasett og manuelt skrive setninger for å tjene som bildetekst – en veldig langsom prosess – startet UNC-forskerne med et språkdatasett og brukte uovervåket læring for å matche hvert ord med et relevant bilde (mer om dette senere). Dette er en svært skalerbar prosess.

Den uovervåkede læringsteknikken, her, er til syvende og sist bidraget til papiret. Hvordan finner du egentlig et relevant bilde for hvert ord?

Vokenisering

La oss gå tilbake et øyeblikk til GPT-3. GPT-3 er en del av en familie av språkmodeller kjent som transformatorer, som representerte et stort gjennombrudd i å bruke uovervåket læring på naturlig språkbehandling da den første ble introdusert i 2017. Transformatorer lærer mønstrene til menneskelig språk ved å observere hvordan ord er brukes i kontekst og deretter lage en matematisk representasjon av hvert ord, kjent som en ordinnbygging, basert på den konteksten. Innebyggingen av ordet katt kan for eksempel vise at det ofte brukes rundt ordene mjau og oransje, men sjeldnere rundt ordene bark eller blå.

Dette er hvordan transformatorer tilnærmer betydningen av ord, og hvordan GPT-3 kan skrive slike menneskelignende setninger. Den er delvis avhengig av disse innebyggingene for å fortelle den hvordan den skal sette sammen ord til setninger og setninger til avsnitt.

Det er en parallell teknikk som også kan brukes til bilder. I stedet for å skanne tekst for ordbruksmønstre, skanner den bilder for visuelle mønstre. Den tabellerer hvor ofte en katt, for eksempel, dukker opp på en seng versus på et tre, og lager en katt som er innebygd med denne kontekstuelle informasjonen.

Innsikten til UNC-forskerne var at de skulle bruke begge embedding-teknikkene på MS COCO. De konverterte bildene til visuelle innebygginger og bildetekstene til ordinnbygginger. Det som er veldig pent med disse innebyggingene er at de deretter kan tegnes i et tredimensjonalt rom, og du kan bokstavelig talt se hvordan de er relatert til hverandre. Visuelle innbygginger som er nært knyttet til ordinnbygginger vil vises nærmere i grafen. Med andre ord skal den visuelle katteinnleiringen (i teorien) overlappe med den tekstbaserte katteinnleiringen. Ganske kult.

Du kan se hvor dette går. Når alle innebyggingene er tegnet og sammenlignet og relatert til hverandre, er det enkelt å begynne å matche bilder (vokens) med ord (tokens). Og husk, fordi bildene og ordene er matchet basert på deres innebygging, blir de også matchet basert på kontekst. Dette er nyttig når ett ord kan ha helt forskjellige betydninger. Teknikken håndterer det med suksess ved å finne forskjellige vokens for hver forekomst av ordet.

For eksempel:

Her er henne kontakt.

Noen katter elsker mennesker kontakt .

Tokenet er ordet kontakt i begge eksemplene. Men i den første setningen antyder konteksten at ordet refererer til kontaktinformasjon, så voken er kontaktikonet. I den andre setningen antyder konteksten at ordet refererer til berøring, så voken viser en katt som blir strøket.

Forskerne brukte den visuelle og ordinnbyggingen de laget med MS COCO for å trene opp vokenizer-algoritmen. Når vokenizeren først var trent, kunne han finne vokens for tokens på engelsk Wikipedia. Det er ikke perfekt. Algoritmen fant bare vokens for omtrent 40 % av tokenene. Men det er fortsatt 40 % av et datasett med nesten 3 milliarder ord.

Med dette nye datasettet omskolerte forskerne en språkmodell kjent som BERT, en åpen kildekode-transformator utviklet av Google som går før GPT-3. De testet deretter den nye og forbedrede BERT på seks forskjellige språkforståelsestester, inkludert SQuAD, Stanford Question Answering Dataset, som ber modeller om å svare på leseforståelsesspørsmål om en serie artikler, og SWAG, som prøver å snuble opp modeller med finesser av det engelske språket for å undersøke om det bare er etterligning og memorering. Den forbedrede BERT presterte bedre på dem alle, noe Wolf sier ikke er noe å nyse av.

Forskerne, Hao Tan, en PhD-student, og Mohit Bansal, hans rådgiver, vil presentere sin nye vokeniseringsteknikk om to uker på Conference on Empirical Methods in Natural Language Processing. Mens arbeidet fortsatt er tidlig, ser Wolf arbeidet deres som et viktig konseptuelt gjennombrudd for å få uovervåket læring til å fungere for visuelle språkmodeller. Det var en lignende gnist som bidro til å dramatisk fremme behandling av naturlig språk tilbake på dagen.

I NLP hadde vi dette enorme gjennombruddet for over to år siden, og så var plutselig NLP et felt hvor det skjedde mye og det gikk på en måte foran alle de andre AI-feltene, sier han. Men vi har dette problemet med å koble tekst med andre ting. Så det er som denne roboten som bare kan snakke, men ikke kan se, ikke kan høre.

Dette papiret er ett eksempel der de klarte å koble det til en annen modalitet og det fungerer bedre , han sier. Du kan tenke deg at kanskje noen av disse teknikkene kan gjenbrukes når du ønsker å utnytte denne virkelig kraftige språkmodellen i en robot. Kanskje du bruker det samme for å koble robotens sanser til tekst.

gjemme seg