Denne avokado-lenestolen kan være fremtiden til AI

Åpne AI

Med GPT-3 , viste OpenAI at en enkelt dyplæringsmodell kunne trenes opp til å bruke språk på en rekke måter ganske enkelt ved å kaste den enorme mengder tekst. Det viste det da ved å bytte tekst med piksler , kan den samme tilnærmingen brukes til å trene en AI til å fullføre halvferdige bilder. GPT-3 etterligner hvordan mennesker bruker ord; Bilde GPT-3 forutsier hva vi ser.

Nå har OpenAI satt disse ideene sammen og bygget to nye modeller, kalt GI HENNE og KLIPP , som kombinerer språk og bilder på en måte som vil gjøre AI-ere bedre til å forstå både ord og hva de refererer til.

Vi lever i en visuell verden, sier Ilya Sutskever, sjefforsker ved OpenAI. I det lange løp kommer du til å ha modeller som forstår både tekst og bilder. AI vil være i stand til å forstå språk bedre fordi den kan se hva ord og setninger betyr.

Relatert historie

OpenAIs nye språkgenerator GPT-3 er sjokkerende bra – og fullstendig tankeløs

AI er den største språkmodellen som noen gang er laget og kan generere utrolig menneskelignende tekst på forespørsel, men vil ikke bringe oss nærmere ekte intelligens.

Til tross for all GPT-3s stil, kan produksjonen føles ubundet fra virkeligheten, som om den ikke vet hva den snakker om. Det er fordi det ikke gjør det. Ved å jorde tekst i bilder prøver forskere ved OpenAI og andre steder å gi språkmodeller en bedre forståelse av hverdagskonseptene som mennesker bruker for å forstå ting.

DALL·E og CLIP kommer på dette problemet fra forskjellige retninger. Ved første øyekast er CLIP (Contrastive Language-Image Pre-training) enda et bildegjenkjenningssystem. Bortsett fra at den har lært å gjenkjenne bilder ikke fra merkede eksempler i kuraterte datasett, slik de fleste eksisterende modeller gjør, men fra bilder og deres bildetekster hentet fra internett. Den lærer hva som er i et bilde fra en beskrivelse i stedet for en ettordsetikett som katt eller banan.

CLIP trenes ved å få den til å forutsi hvilken bildetekst fra et tilfeldig utvalg på 32 768 som er den riktige for et gitt bilde. For å finne ut av dette lærer CLIP å koble en lang rekke objekter med navnene deres og ordene som beskriver dem. Dette lar den identifisere objekter i bilder utenfor treningssettet. De fleste bildegjenkjenningssystemer er opplært til å identifisere visse typer objekter, for eksempel ansikter i overvåkingsvideoer eller bygninger i satellittbilder. I likhet med GPT-3 kan CLIP generalisere på tvers av oppgaver uten ekstra opplæring. Det er også mindre sannsynlig enn andre toppmoderne bildegjenkjenningsmodeller å bli ført bak lyset av motstridende eksempler, som har blitt subtilt endret på måter som vanligvis forvirrer algoritmer, selv om mennesker kanskje ikke merker en forskjell.

I stedet for å gjenkjenne bilder, tegner DALL·E (som jeg tipper er et WALL·E/Dali-ordspill) dem. Denne modellen er en mindre versjon av GPT-3 som også har blitt trent på tekst-bilde-par hentet fra internett. Gitt en kort bildetekst på naturlig språk, for eksempel et maleri av en kapybara som sitter i et felt ved soloppgang eller et tverrsnitt av en valnøtt, genererer DALL·E mange bilder som matcher den: dusinvis av kapybaraer i alle former og størrelser foran oransje og gul bakgrunn; rad etter rad med valnøtter (men ikke alle i tverrsnitt).

Bli surrealistisk

Resultatene er slående, men fortsatt en blandet pose. Bildeteksten et glassmaleri med et bilde av et blått jordbær gir mange korrekte resultater, men også noen som har blå vinduer og røde jordbær. Andre inneholder ingenting som ser ut som et vindu eller et jordbær. Resultatene vist frem av OpenAI-teamet i et blogginnlegg er ikke blitt plukket ut for hånd, men rangert av CLIP, som har valgt ut de 32 DALL·E-bildene for hver bildetekst som den mener passer best til beskrivelsen.

Tekst-til-bilde er en forskningsutfordring som har eksistert en stund, sier Mark Riedl, som jobber med NLP og beregningsmessig kreativitet ved Georgia Institute of Technology i Atlanta. Men dette er et imponerende sett med eksempler.

Bilder tegnet av DALL·E for bildeteksten En baby daikon reddik i en tutu som går tur med hund

For å teste DALL·Es evne til å jobbe med nye konsepter, ga forskerne den bildetekster som beskrev gjenstander de trodde den ikke ville ha sett før, for eksempel en avokado-lenestol og en illustrasjon av en baby-daikon-reddik i en tutu som gikk med en hund. I begge disse tilfellene genererte AI bilder som kombinerte disse konseptene på plausible måter.

Spesielt lenestolene ser alle ut som stoler og avokado. Det som overrasket meg mest er at modellen kan ta to ikke-relaterte konsepter og sette dem sammen på en måte som resulterer i noe slags funksjonelt, sier Aditya Ramesh, som jobbet på DALL·E. Det er nok fordi en halvert avokado ser litt ut som en høyrygget lenestol, med gropen som pute. For andre bildetekster, for eksempel en snegl laget av harpe, er resultatene mindre gode, med bilder som kombinerer snegler og harper på rare måter.

DALL·E er den typen system som Riedl forestilte seg å sende til Lovelace 2.0-test , et tankeeksperiment som han kom med i 2014. Testen er ment å erstatte Turing-testen som en målestokk for å måle kunstig intelligens. Den forutsetter at et tegn på intelligens er evnen til å blande konsepter på kreative måter. Riedl foreslår at det å be en datamaskin tegne et bilde av en mann som holder en pingvin er en bedre test av smart enn å be en chatbot om å lure et menneske i samtale, fordi det er mer åpent og mindre lett å jukse.

Den virkelige testen er å se hvor langt AI kan skyves utenfor komfortsonen, sier Riedl.

Bilder tegnet av DALL·E for bildeteksten snegl laget av harpe

Evnen til modellen til å generere syntetiske bilder ut av ganske snodig tekst virker veldig interessant for meg, sier Ani Kembhavi ved Allen Institute for Artificial Intelligence (AI2), som også har utviklet en system som genererer bilder fra tekst . Resultatene ser ut til å følge ønsket semantikk, som jeg synes er ganske imponerende. Jaemin Cho, en kollega av Kembhavi, er også imponert: Eksisterende tekst-til-bilde-generatorer har ikke vist dette nivået av kontrolltegning av flere objekter eller de romlige resonneringsevnene til DALL·E, sier han.

Likevel viser DALL·E allerede tegn på belastning. Å inkludere for mange objekter i en bildetekst utvider evnen til å holde styr på hva du skal tegne. Og omformulering av en bildetekst med ord som betyr det samme, gir noen ganger forskjellige resultater. Det er også tegn på at DALL·E etterligner bilder den har møtt på nettet i stedet for å generere nye.

Jeg er litt mistenksom til daikon-eksemplet, som stilistisk antyder at det kan ha memorert noe kunst fra internett, sier Riedl. Han bemerker at et raskt søk får opp mange tegneseriebilder av antropomorfiserte daikoner. GPT-3, som DALL·E er basert på, er beryktet for å memorere, sier han.

Likevel er de fleste AI-forskere enige om at jording av språk i visuell forståelse er en god måte å gjøre AI-er smartere.

Fremtiden kommer til å bestå av systemer som dette, sier Sutskever. Og begge disse modellene er et skritt mot det systemet.

gjemme seg