Hvorfor GPT-3 er den beste og verste AI akkurat nå

Open AIs språk AI imponerte publikum med sin tilsynelatende mestring av engelsk – men er det hele en illusjon?





Sierra og Lenny

  • Will Douglas himmelen arkivside
24. februar 2021


  • Hvorfor det er viktig:

    Store datamodeller som lærer naturlig språk er et stort skritt mot AI som kan forstå og samhandle med den menneskelige verden.


  • Nøkkelspillere:

    • OpenAI



    • Google

    • Facebook


  • Tilgjengelighet:

    Nå

GPT-3 har fanget publikums fantasi ulikt noen AI siden DeepMinds AlphaGo eller IBMs sjakkspillende DeepBlue.

Bygd av OpenAI , et forskningslaboratorium basert i San Francisco, er det en stor språkmodell —en algoritme som bruker dyp læring, trent på teksten i tusenvis av bøker og det meste av internett, for å sette ord og uttrykk sammen. Da den ble lansert i 2020, virket dens evne til å etterligne menneskeskrevet tekst med uhyggelig realisme som en milepæl på veien mot ekte maskinintelligens.

Fremdriftsspørsmålet

Denne historien var en del av mars 2021-utgaven vår



  • Se resten av saken
  • Abonnere

Her er en eksempel på hva den kan . Delen i kursiv var oppfordringen gitt av et menneske.

—

Jeg Etter et sjokkerende funn oppdaget forskere en flokk med enhjørninger som bodde i en avsidesliggende, tidligere uutforsket dal i Andesfjellene. Enda mer overraskende for forskerne var det faktum at enhjørningene snakket perfekt engelsk. De ble også funnet å ha perfekt hår, og hadde på seg det som så ut til å være Dior-sminke.



Vi ble sjokkert over å oppdage enhjørningene, sa antropolog Daniel St. Maurice. De var som ingenting vi noen gang hadde sett før. Vi hadde hørt legender om enhjørningene, men trodde aldri at de faktisk eksisterte.

Da forskerne først ankom dalen, ble enhjørningene overrasket og overrasket over tilstedeværelsen av mennesker, men de var også begeistret. Enhjørningene ønsket forskerne velkommen og forklarte at de hadde ventet på dem veldig lenge.

2021

10 banebrytende teknologier

Som du kan se, er GPT-3 i stand til å produsere komplekse setninger som leser som om de kunne ha blitt produsert av et menneske. Eksempelsetningene inkluderer kulturelle referanser og en troverdig beretning om hvordan forskerne ville reagere. Maskiner som kan bruke språk på denne måten er viktige av flere grunner. Språk er avgjørende for å forstå hverdagens verden: mennesker bruker det til å kommunisere, dele ideer og beskrive konsepter. En kunstig intelligens som mestrer språk vil få en bedre forståelse av verden i prosessen.

Store språkmodeller har mange praktiske bruksområder også . De driver bedre chatbots som holder mer flytende samtaler; de kan generere artikler og historier om hva som helst, gitt en melding; de kan oppsummere tekststykker eller svare på spørsmål om dem. Tilgang til GPT-3 er kun ved invitasjon, men folk har allerede brukt den til makten dusinvis av apper , fra et verktøy som genererer oppstartsideer til et AI-skriptet eventyrspill satt i et fangehull.

GPT-3 er ikke den eneste store språkmodellen som vises i 2020. Microsoft, Google og Facebook annonserte alle sine egne. Men GPT-3 var den desidert beste generalisten. Og det gir inntrykk av at det kan skrive hva som helst: fanfiction, filosofisk polemikk og til og med kode. Da folk begynte å prøve GPT-3 selv i fjor sommer, oversvømmet tusenvis av eksempler på dens allsidighet sosiale medier. diskusjoner ble til og med utløst om GPT-3 var den første kunstige generelle intelligensen.

Det er ikke. Til tross for de utrolig overbevisende tekststykkene som den kan komme ut, gjør ikke GPT-3 noe nytt. Det den viser i stedet er at størrelse kan være alt. For å bygge GPT-3 brukte OpenAI mer eller mindre samme tilnærming og algoritmer som den brukte for sine eldre søsken, GPT-2 , men det overdimensjonerte både det nevrale nettverket og treningssettet. GPT-3 har 175 milliarder parametere – verdiene i et nettverk som blir justert under trening – sammenlignet med GPT-2s 1,5 milliarder. Den ble også trent på mye mer data.

Før GPT-2 tok opplæring av en språkmodell ved bruk av dyp læring vanligvis to pass: den ble trent på et generell datasett for å gi den en grunnleggende forståelse av språk og deretter trent på et mindre sett målrettet mot en spesifikk oppgave, som f.eks. forståelse eller oversettelse. GPT-2 viste at du kunne få gode resultater over hele linja med bare ett pass hvis du kastet flere eksempler på en større modell. Så med GPT-3 doblet OpenAI seg og ble den største språkmodellen noensinne.

Resultatene som fanget alles oppmerksomhet ble imidlertid ofte plukket med kirsebær. GPT-3 gjentar eller motsier ofte seg selv i tekststykker som er mer enn noen hundre ord lange. Det kommer ut med hyl. GPT-3 skjuler sin dumhet bak en sølvtunge, men det tar vanligvis et par ganger å få den til å generere noe som ikke viser sprekkene.

Relatert historie

OpenAIs nye språkgenerator GPT-3 er sjokkerende bra – og fullstendig tankeløs

AI er den største språkmodellen som noen gang er laget og kan generere utrolig menneskelignende tekst på forespørsel, men vil ikke bringe oss nærmere ekte intelligens.

GPT-3s evner gjør det også vanskelig å ignorere AIs økende problemer. Det enorme strømforbruket er dårlige nyheter for klimaet: forskere ved Københavns Universitet i Danmark anslag at trening av GPT-3 ville hatt omtrent samme karbonavtrykk som å kjøre bil avstanden til månen og tilbake, hvis den hadde blitt trent i et datasenter fullt drevet av fossilt brensel. Og kostnadene ved slik opplæring - anslått av noen eksperter til å være minst 10 millioner dollar i GPT-3s tilfelle - setter den siste forskningen utenfor rekkevidde av alle unntatt de rikeste laboratoriene .

OpenAI rapporterer at trening av GPT-3 forbrukte flere tusen petaflop/s-dager med datakraft. En petaflop/s-dag er en enhet for strømforbruk som består av å utføre 1015 – det er tusen billioner, eller en kvadrillion – nevrale nettverksberegninger per sekund for en dag. Til sammenligning konsumerte GPT-2 bare titalls petaflop/s-dager.

Nok et problem er at GPT-3 suger til seg mye av desinformasjonen og fordommene den finner på nettet og reproduserer den på forespørsel. Som teamet som bygde det sa i papir som beskriver teknologien : Internett-trente modeller har skjevheter på internettskala.

Den menneskelige finéren som GPT-3 gir maskingenerert tekst gjør den lett å stole på. Dette har ført til at noen har hevdet at GPT-3 og alle menneskelignende språkmodeller bør komme med en sikkerhetsadvarsel, et Bruker pass-klistremerke, som varsler folk om at de chatter med programvare og ikke et menneske.

For noen måneder siden ga noen ut en GPT-3-drevet bot på Reddit , hvor den la ut hundrevis av kommentarer og interaksjon med dusinvis av brukere over flere dager før den ble avslørt. Mye av aktiviteten var ufarlig. Men boten svarte også på kommentarer om selvmordstanker, og ga personlige råd som nevnte støtte fra foreldrene.

Til tross for alle disse problemene, er GPT-3 en seier for de som tror at større er bedre. Slike modeller viser at datakraft og data kommer deg langt, og vi kan forvente mer av begge i fremtiden. Hvordan kan en GPT-4 se ut? Vi kan forvente at chatbots blir slankere, bedre til å sette sammen lengre stykker sammenhengende tekst, med en enda bredere mestring av samtaleemner.

Men språk er bare én måte å forstå og samhandle med verden på. Neste generasjons språkmodeller vil integrere andre ferdigheter, for eksempel bildegjenkjenning. OpenAI tar allerede GPT-3 i denne retningen med AI-er som bruker språk for å forstå bilder og bilder for å forstå språk.

Hvis du vil vite tilstanden til dyp læring i dag, se på GPT-3. Det er et mikrokosmos av det beste og det verste innen AI.