Disse rare, foruroligende bildene viser at AI blir smartere

Allen Institute for AI

Av alle AI-modeller i verden, OpenAIs GPT-3 har mest fanget publikums fantasi. Den kan spy ut dikt, noveller og sanger med lite tilskyndelse, og har blitt demonstrert å lure folk til å tro at utgangene var skrevet av et menneske. Men dens veltalenhet er mer et salongtriks, for ikke å forveksle med ekte intelligens.

Ikke desto mindre tror forskere at teknikkene som brukes til å lage GPT-3 kan inneholde hemmeligheten bak mer avansert AI. GPT-3 trente på en enorm mengde tekstdata. Hva om de samme metodene ble trent på både tekst og bilder?

Nå har ny forskning fra Allen Institute for Artificial Intelligence, AI2, tatt denne ideen til neste nivå. Forskerne har utviklet en ny tekst-og-bilde-modell, ellers kjent som en visuell-språkmodell, som kan generere bilder gitt en bildetekst. Bildene ser foruroligende og freakish ut - ingenting som de hyperrealistiske dype forfalskninger generert av GAN-er – men de kan vise en lovende ny retning for å oppnå mer generaliserbar intelligens, og kanskje også smartere roboter.

Fyll ut feltet

GPT-3 er en del av en gruppe modeller kjent som transformatorer, som først ble populær med suksessen til Googles BERT. Før BERT var språkmodellene ganske dårlige. De hadde nok prediktiv kraft til å være nyttige for programmer som autofullføring, men ikke nok til å generere en lang setning som fulgte grammatikkregler og sunn fornuft.

BERT endret det ved å introdusere en ny teknikk kalt maskering . Det går ut på å skjule forskjellige ord i en setning og be modellen fylle ut det tomme. For eksempel:

• Kvinnen dro til ___ for å trene.
• De kjøpte en ___ brød for å lage smørbrød.

Tanken er at hvis modellen blir tvunget til å gjøre disse øvelsene, ofte millioner av ganger, begynner den å oppdage mønstre i hvordan ord settes sammen til setninger og setninger til avsnitt. Som et resultat kan den bedre generere og tolke tekst, og få den nærmere forståelsen av språkets betydning. (Google bruker nå BERT for å vise mer relevante søkeresultater i sin søkemotor .) Etter at maskering viste seg å være svært effektiv, forsøkte forskere å bruke den på visuelle språkmodeller ved å skjule ord i bildetekster, som for eksempel:

En ____ står på en jord i nærheten av et tre.

AI2

Denne gangen kunne modellen se på begge ordene rundt og innholdet i bildet for å fylle ut det tomme. Gjennom millioner av repetisjoner kunne den oppdage ikke bare mønstrene blant ordene, men også forholdet mellom ordene og elementene i hvert bilde.

Resultatet er modeller som er i stand til å relatere tekstbeskrivelser til visuelle referanser – akkurat som babyer kan lage sammenhenger mellom ordene de lærer og tingene de ser. Modellene kan for eksempel se på bildet nedenfor og skrive en fornuftig bildetekst som Kvinner som spiller landhockey. Eller de kan svare på spørsmål om det som Hva er fargen på ballen? ved å koble ordet ball med det sirkulære objektet i bildet.

En visuelt-språklig modell ville være i stand til fornuftig å gi bildeteksten til dette bildet: 'Kvinner som spiller landhockey.'

JOHN TORCASIO / UNSPLASH

Et bilde er verdt tusen ord

Men AI2-forskerne ønsket å vite om disse modellene faktisk hadde utviklet en konseptuell forståelse av den visuelle verdenen. Et barn som har lært ordet for et objekt kan ikke bare trylle frem ordet for å identifisere objektet, men også tegne objektet når det blir bedt om det, selv om selve objektet ikke er til stede. Så forskerne ba modellene om å gjøre det samme: å generere bilder fra bildetekster. Alle spytter ut useriøse pikselmønstre i stedet.

Det er en fugl! Det er et fly! Nei, det er bare gobbledygook generert av AI.

AI2

Det er fornuftig: Å transformere tekst til bilder er langt vanskeligere enn omvendt. En bildetekst spesifiserer ikke alt som er i et bilde, sier Ani Kembhavi, som leder datasynsteamet ved AI2. Så en modell må trekke på mye sunn fornuft om verden for å fylle ut detaljene.

Hvis den blir bedt om å tegne en sjiraff som går på en vei, for eksempel, må den også konkludere at veien er mer sannsynlig å være grå enn rosa og mer sannsynlig å være ved siden av et gressfelt enn ved havet— selv om ingen av denne informasjonen er eksplisitt.

Så Kembhavi og hans kolleger Jaemin Cho, Jiasen Lu og Hannaneh Hajishirzi bestemte seg for å se om de kunne lære en modell all denne implisitte visuelle kunnskapen ved å justere deres tilnærming til maskering. I stedet for å trene modellen bare til å forutsi maskerte ord i bildetekstene fra de tilsvarende bildene, trente de den også opp til å forutsi maskerte piksler i bildene på grunnlag av deres tilsvarende bildetekster.

De endelige bildene generert av modellen er ikke akkurat realistiske. Men det er ikke poenget. De inneholder de rette visuelle konseptene på høyt nivå – AI-ekvivalenten til et barn som tegner en pinnefigur for å representere et menneske. (Du kan prøve ut modellen selv her .)

Eksempler på bilder generert av AI2s modell fra bildetekstene under dem.

AI2

Evnen til visuelle språkmodeller til å gjøre denne typen bildegenerering representerer et viktig skritt fremover i AI-forskning. Det antyder at modellen faktisk er i stand til et visst abstraksjonsnivå, en grunnleggende ferdighet for å forstå verden.

På lang sikt kan dette få konsekvenser for robotikk. Jo bedre en robot er til å forstå sine visuelle omgivelser og bruke språk for å kommunisere om dem, jo ​​mer komplekse oppgavene vil den kunne utføre. På kort sikt kan denne typen visualisering også hjelpe forskere til å bedre forstå nøyaktig hva black box AI-modeller lærer, sier Hajishirzi.

Fremover planlegger teamet å eksperimentere mer for å forbedre kvaliteten på bildegenereringen og utvide modellens visuelle og språklige vokabular til å inkludere flere emner, objekter og adjektiver.

Bildegenerering har virkelig vært en manglende puslespillbrikke, sier Lu. Ved å aktivere dette kan vi få modellen til å lære bedre representasjoner for å representere verden.

gjemme seg