211service.com
GPT-3, Bloviator: OpenAIs språkgenerator har ingen anelse om hva den snakker om
Ms Tech | Getty. Unsplash
Siden OpenAI først beskrev sitt nye AI-språkgenererende system kalt GPT-3 i mai, har hundrevis av medier (inkludert MIT Technology Review ) har skrevet om systemet og dets muligheter. Twitter har vært mye om sin kraft og potensial. New York Times publiserte en kommentar om det . Senere i år vil OpenAI begynne å belaste selskaper for tilgang til GPT-3, i håp om at systemet snart kan drive et bredt utvalg av AI-produkter og -tjenester.
Er GPT-3 et viktig skritt mot kunstig generell intelligens - den typen som vil tillate en maskin å resonnere bredt på en måte som ligner på mennesker uten å trene for hver spesifikk oppgave den møter? OpenAIs tekniske papir er ganske reservert på dette større spørsmålet, men for mange føles selve flyten av systemet som om det kan være et betydelig fremskritt.
Vi tviler på det. Ved første øyekast ser det ut til at GPT-3 har en imponerende evne til å produsere menneskelignende tekst. Og vi tviler ikke på at den kan brukes til å produsere underholdende surrealistisk fiksjon; andre kommersielle applikasjoner kan også dukke opp. Men nøyaktighet er ikke dens sterke side. Hvis du graver dypere, oppdager du at noe er galt: selv om utgangen er grammatisk, og til og med imponerende idiomatisk, er forståelsen av verden ofte alvorlig dårlig, noe som betyr at du aldri kan stole på det den sier.
Nedenfor er noen illustrasjoner av dens mangel på forståelse - alt, som vi vil se senere, forhåndsfigurert i en tidligere kritikk at en av oss skrev om GPT-3s forgjenger.
Før du fortsetter, er det også verdt å merke seg at OpenAI så langt ikke har gitt oss forskningstilgang til GPT-3, til tross for både selskapets navn og nonprofit status av sin tilsynsorganisasjon. I stedet utsetter OpenAI oss på ubestemt tid til tross for gjentatte forespørsler – selv om det gjorde tilgang allment tilgjengelig for media. Heldigvis tilbød vår kollega Douglas Summers-Stay, som hadde tilgang, sjenerøst å kjøre eksperimentene for oss.
OpenAIs slående mangel på åpenhet synes for oss å være et alvorlig brudd på vitenskapelig etikk, og en forvrengning av målene til den tilknyttede ideelle organisasjonen. Avgjørelsen tvang oss til å begrense testingen vår til et relativt lite antall eksempler, noe som ga oss mindre tid til å undersøke enn vi ville ha ønsket, noe som betyr at det kan være mer alvorlige problemer som vi ikke hadde en sjanse til å se. Likevel, innenfor begrensningene til et lite utvalg, var mange store problemer med GPT-3 umiddelbart åpenbare, i alle domene av resonnement og forståelse som vi testet.
I hvert eksempel nedenfor er ledeteksten vi genererte i vanlig skrift, og systemets fortsettelse er i dristig . Våre kommentarer er inne kursiv . (En fullstendig liste over eksperimentene vi gjorde kan bli funnet her .)
Biologisk resonnement
- Du helte deg et glass tranebærjuice, men så helt fraværende omtrent en teskje druejuice i det. Det ser greit ut. Du prøver å snuse på det, men du er veldig forkjølet, så du kan ikke lukte noe. Du er veldig tørst. Så du drikker det.
Du er nå død.
[GPT-3 ser ut til å anta at druejuice er en gift, til tross for at det er mange referanser på nettet til tranebær-drueoppskrifter og at Ocean Spray selger en kommersiell Cran-Grape-drikk.]
Fysisk resonnement
- Du har et lite middagsselskap. Du vil servere middag i stua. Spisebordet er bredere enn døråpningen, så for å få det inn i stuen må du fjern døren. Du har en bordsag, så du kutter døren i to og fjerner den øverste halvdelen.
[Dette er den ene forvirringen etter den andre. De naturlige løsningene her vil enten være å vippe bordet på siden (ofte tilstrekkelig, avhengig av spesifikasjonene til geometrien) eller å ta bena fra bordet, hvis de er avtakbare. Å fjerne en dør er noen ganger nødvendig for å utvide en døråpning, men mye mer sjelden, og vil neppe være verdt for et middagsselskap. Hvis du trenger å fjerne en dør for å utvide en døråpning, tar du den av hengslene: du sager den ikke, og du sager absolutt ikke av den øvre halvdelen, noe som ville være meningsløst. Til slutt, en bordsag er ikke en sag som brukes til å gi plass til å flytte et bord; det er en sag innebygd i et arbeidsbord, og den kunne ikke brukes til å kutte en dør som fortsatt står.]
Sosialt resonnement
- Du er forsvarsadvokat og må gå til retten i dag. Når du kler på deg om morgenen, oppdager du at dressbuksene dine er dårlig flekkete. Imidlertid er badedrakten din ren og veldig stilig. Faktisk er det dyr fransk couture; det var en bursdagsgave fra Isabel. Du bestemmer selv at du skal ha på deg badedrakten til retten. Du ankommer tinghuset og blir møtt av en namsmann som eskorterer deg til rettssalen .
[Uttrykket Men badedrakten din er ren ser ut til å ha fått GPT-3 til å anta at en badedrakt er et levedyktig alternativ til en dress. Selvfølgelig ville i virkeligheten ingen advokat vurdere å bruke badedrakt for retten. Namsmannen ville sannsynligvis ikke innrømmet deg, og hvis du ble innlagt, kan dommeren godt holde deg i forakt.]
Objekt- og individuell sporing
- I går leverte jeg klærne mine på renseriet, og jeg har ennå ikke hentet dem. Hvor er klærne mine? Jeg har mye klær .
[GPT-3 unngår spørsmålet og klarer ikke å spore plasseringer av objekter. En av oss (Gary) rapporterte det samme spørsmålet og problemet med GPT-3s forgjenger i et tidligere papir .]
Psykologisk resonnement
- Janet og Penny dro til butikken for å hente gaver til Jack. Janet sa, jeg skal kjøpe Jack en topp. Ikke få Jack en topp, sier Penny. Han har en topp. Han vil få en topp. Jeg skal skaffe Jack en topp, sa Janet.
[I løpet av en enkelt setning har GPT-3 mistet oversikten over det faktum at Penny fraråder Janet å få en topp fordi Jack allerede har en topp. Den tiltenkte fortsettelsen var Han vil få deg til å ta den tilbake (eller få deg til å bytte den). Dette eksemplet er hentet direkte fra Eugene Charniaks doktorgradsavhandling fra 1972 (pdf) ; nesten 50 år senere forblir det utenfor omfanget av AI-teknologi for naturlig språk.]
Ingen følger
- På festen skjenket jeg meg et glass limonade, men det ble for surt, så jeg tilsatte litt sukker. Jeg så ikke en skje praktisk, så jeg rørte den med en sigarett. Men det viste seg å være en dårlig idé fordi den fortsatte å falle på gulvet. Det var da han bestemte seg for å starte Cremation Association of North America, som har blitt en stor kremasjonsleverandør med 145 lokasjoner .
[GPT-3 forutsier først feilaktig konsekvensene av å røre limonade med en sigarett og vandrer deretter ut i irrelevant tull.]
Det deprimerende er at ingenting av dette er nytt. GPT-3s forgjenger (kjent som GPT-2) led av nøyaktig de samme svakhetene. Som en av oss (Gary) legg den i februar : 'På en god dag kan et system som det mye omtalte nevrale nettverket GPT-2, som produserer historier og lignende gitte setningsfragmenter, formidle noe som tilsynelatende ser ut til å reflektere en dyp forståelse ... Men uansett hvor overbevisende mange av GPT- 2 eksempler synes, realiteten er at representasjonene er tynne ... kunnskapen som samles inn av moderne nevrale nettverk forblir flekkete og pointillistisk, uten tvil nyttig og absolutt imponerende, men aldri pålitelig.'
For lite har endret seg. Å legge til hundre ganger mer inndata har hjulpet, men bare litt. Etter at forskere har brukt millioner av dollar med datatid på opplæring, viet en stab på 31 til utfordringen og produsert fantastiske mengder karbonutslipp fra elektrisitet , GPTs grunnleggende feil gjenstår. Dens ytelse er upålitelig, kausal forståelse er ustabil, og usammenheng er en konstant følgesvenn. GPT-2 hadde problemer med biologiske, fysiske, psykologiske og sosiale resonnementer, og en generell tendens til inkoherens og ikke-sequiturs. GPT-3 gjør det også.
Flere data gir en bedre, mer flytende tilnærming til språket; det gir ikke pålitelig intelligens.
Forsvarere av troen vil sikkert påpeke at det ofte er mulig å omformulere disse problemene slik at GPT-3 finner den riktige løsningen. Du kan for eksempel få GPT-3 til å gi det riktige svaret på tranebær-/druejuiceproblemet hvis du gir den følgende langdrakte ramme som en melding:
- I de følgende spørsmålene har noen av handlingene alvorlige konsekvenser, mens andre er helt i orden. Din jobb er å identifisere konsekvensene av de ulike blandingene og om de er farlige eller ikke.
1. Du helte deg et glass tranebærjuice, men så helt fraværende omtrent en teskje druejuice i det. Det ser greit ut. Du prøver å snuse på det, men du er veldig forkjølet, så du kan ikke lukte noe. Du er veldig tørst. Så du drikker det.
en. Dette er en farlig blanding.
b. Dette er en trygg blanding.
Riktig svar er:
GPT-3s fortsettelse til den ledeteksten er riktig: B. Dette er en sikker blanding.
Problemet er at du ikke har noen måte å vite på forhånd hvilke formuleringer som vil eller ikke vil gi deg det riktige svaret. For en optimist betyr ethvert snev av suksess det det må være en ponni her inne et sted . Optimisten vil hevde (som mange har) at fordi det er en formulering der GPT-3 får det riktige svaret, har GPT-3 den nødvendige kunnskapen og resonneringskapasiteten – den blir bare forvirret av språket. Men problemet er ikke med GPT-3s syntaks (som er perfekt flytende), men med dens semantikk: den kan produsere ord på perfekt engelsk, men den har bare den minste følelse av hva disse ordene betyr, og ingen som helst mening om hvordan disse ordene forholde seg til verden.
For å forstå hvorfor, hjelper det å tenke på hva systemer som GPT-3 gjør. De lærer ikke om verden – de lærer om tekst og hvordan folk bruker ord i forhold til andre ord. Det den gjør er noe sånt som en massiv handling med å klippe og lime, sy variasjoner på tekst den har sett, i stedet for å grave dypt etter konseptene som ligger til grunn for disse tekstene.
I eksemplet med tranebærjuice fortsetter GPT-3 med setningen Du er nå død fordi den setningen (eller noe sånt) ofte følger setninger som ... så du kan ikke lukte noe. Du er veldig tørst. Så du drikker det. En genuint intelligent agent ville gjort noe helt annet: trekke slutninger om den potensielle sikkerheten ved å blande tranebærjuice med druejuice.
Alt GPT-3 egentlig har er en tunnelsynsforståelse av hvordan ord forholder seg til hverandre; av alle disse ordene kan den aldri slutte noe om den blomstrende, summende verden. Det antyder ikke at druejuice er en drink (selv om den kan finne ordkorrelasjoner i samsvar med det); Den trekker heller ikke ut noe om sosiale normer som kan hindre folk fra å bruke badedrakter i rettshus. Den lærer korrelasjoner mellom ord, og ingenting mer. Empiristens drøm er å tilegne seg en rik forståelse av verden fra sensoriske data, men GPT-3 gjør det aldri, selv med en halv terabyte med inndata.
Mens vi satt sammen dette essayet, skrev vår kollega Summers-Stay, som er flink med metaforer, til en av oss og sa dette: 'GPT er rart fordi det ikke 'bryr seg' om å få det riktige svaret på et spørsmål du sette til det. Det er mer som en impro-skuespiller som er fullstendig dedikert til håndverket sitt, aldri bryter karakteren og aldri har forlatt hjemmet, men bare lest om verden i bøker. Som en slik skuespiller, når den ikke vet noe, vil den bare forfalske det. Du ville ikke stole på en impro-skuespiller som spiller lege for å gi deg medisinske råd.'
Du bør heller ikke stole på at GPT-3 gir deg råd om å blande drinker eller flytte møbler, for å forklare handlingen i en roman til barnet ditt, eller for å hjelpe deg med å finne ut hvor du legger tøyet ditt; det kan kanskje løse matteproblemet ditt, men det er kanskje ikke det. Det er et flytende tull, men selv med 175 milliarder parametere og 450 gigabyte med inndata, er det ikke en pålitelig tolk av verden.
Korreksjon: Spørsmålet om det psykologiske resonnementeksemplet innebar en diskusjon mellom Penny og Janet (ikke Penny og deg, som det opprinnelig ble sagt).
Gary Marcus er grunnlegger og administrerende direktør i Robust.AI og var grunnlegger og administrerende direktør i Geometric Intelligence, som ble kjøpt opp av Uber. Han er også professor emeritus ved NYU, og forfatter av fem bøker inkludert Gitar Zero og med Ernest Da Utsikt , Rebooting AI: Building Artificial Intelligence We Can Trust.
Ernest Davis er professor i informatikk ved New York University. Han har skrevet fire bøker, bl.a Representasjoner av Commonsense Knowledge.