OpenAIs nye språkgenerator GPT-3 er sjokkerende bra – og fullstendig tankeløs

fallende bokstaver

Getty





Å spille med GPT-3 føles som å se fremtiden, Arram Sabeti, en San Francisco-basert utvikler og artist, twitret forrige uke . Det oppsummerer ganske mye responsen på sosiale medier de siste dagene på OpenAIs siste språkgenererende AI.

OpenAI først beskrevet GPT-3 i en forskningsartikkel publisert i mai. Men i forrige uke begynte den å dryppe programvaren til utvalgte personer som ba om det tilgang til en privat betaversjon . Foreløpig vil OpenAI at eksterne utviklere skal hjelpe den med å utforske hva GPT-3 kan gjøre, men den planlegger å gjøre verktøyet om til et kommersielt produkt senere i år, og tilby bedrifter et betalt abonnement på AI via skyen.

GPT-3 er den kraftigste språkmodellen noensinne. Dens forgjenger, GPT-2, utgitt i fjor , var allerede i stand til å spytte ut overbevisende tekststrømmer i en rekke forskjellige stiler når de ble bedt om med en åpningssetning. Men GPT-3 er et stort sprang fremover. Modellen har 175 milliarder parametere (verdiene som et nevralt nettverk prøver å optimalisere under trening), sammenlignet med GPT-2s allerede enorme 1,5 milliarder. Og med språkmodeller, størrelsen betyr virkelig noe .

Sabeti koblet til en blogg innlegg hvor han viste frem noveller, sanger, pressemeldinger, tekniske manualer og mer som han hadde brukt AI til å generere. GPT-3 kan også produsere pastisjer av bestemte forfattere. Mario Klingemann, en kunstner som jobber med maskinlæring, delte en novelle kalt Viktigheten av å være på Twitter, skrevet i stilen til Jerome K. Jerome, som starter: Det er et merkelig faktum at den siste gjenværende formen for sosialt liv i som folket i London fortsatt er interessert i er Twitter. Jeg ble slått av dette merkelige faktum da jeg dro på en av mine periodiske ferier til sjøkanten, og fant hele stedet kvitre som et stærbur. Klingemann sier at alt han ga AI-en var tittelen, forfatterens navn og initialen It. Det er til og med en rimelig informativ artikkel om GPT-3 skrevet i sin helhet av GPT-3 .

Andre har funnet ut at GPT-3 kan generere alle typer tekst, inkludert gitartabs eller datakode. For eksempel, ved å justere GPT-3 slik at den produserte HTML i stedet for naturlig språk, viste nettutvikler Sharif Shameem at han kunne gjøre det lage nettsideoppsett ved å gi den meldinger som en knapp som ser ut som en vannmelon eller stor tekst i rødt som sier VELKOMMEN TIL MITT NYHETSBREV og en blå knapp som sier Abonner. Selv den legendariske koderen John Carmack, som var banebrytende for 3D-datagrafikk i tidlige videospill som Doom og nå konsulterer CTO hos Oculus VR, var nervøs : Den nylige, nesten tilfeldige, oppdagelsen av at GPT-3 på en måte kan skrive kode genererer en liten skjelving.

Til tross for de nye triksene, er GPT-3 fortsatt tilbøyelig til å spy ut hatefullt sexistisk og rasistisk språk. Finjustering av modellen bidro til å begrense denne typen utgang i GPT-2.



Det er heller ingen overraskelse at mange har vært raske til å begynne å snakke om intelligens. Men GPT-3s menneskelignende utgang og slående allsidighet er resultatet av utmerket konstruksjon, ikke ekte smarte. For det første lager AI fortsatt latterlige hyl som avslører en total mangel på sunn fornuft. Men selv suksessene har en mangel på dybde, og leser mer som klipp-og-lim-jobber enn originale komposisjoner.



Nøyaktig hva som skjer inne i GPT-3 er ikke klart. Men det den ser ut til å være god på, er å syntetisere tekst den har funnet andre steder på internett, noe som gjør den til en slags enorm, eklektisk utklippsbok laget av millioner og millioner av tekstbiter som den deretter limer sammen på rare og fantastiske måter etter behov.

Det er ikke for å bagatellisere OpenAIs prestasjon. Og et verktøy som dette har mange nye bruksområder, både gode (fra å drive bedre chatbots til å hjelpe folk med kode) og dårlige (fra å drive bedre feilinformasjonsroboter til å hjelpe barn med å jukse med leksene sine).

Men når en ny AI-milepæl kommer, blir den for ofte begravet i hype. Til og med Sam Altman, som grunnla OpenAI sammen med Elon Musk, prøvde det tone ned ting : GPT-3-hypen er altfor mye. Den er imponerende (takk for de hyggelige komplimentene!), men den har fortsatt alvorlige svakheter og gjør noen ganger veldig dumme feil. AI kommer til å forandre verden, men GPT-3 er bare et veldig tidlig glimt. Vi har fortsatt mye å finne ut.

Vi har en lav bar når det kommer til å oppdage intelligens . Hvis noe ser smart ut, er det lett å lure oss selv at det er det. Det største trikset AI noen gang har gjort var å overbevise verden om at den eksisterer. GPT-3 er et stort sprang fremover – men det er fortsatt et verktøy laget av mennesker, med alle feilene og begrensningene det innebærer.

gjemme seg