Teknologien bak OpenAIs fiksjonsskrivende, falske-nyheter-spyende AI, forklart

Ordbobler som viser begynnelsen av science fiction-historien og en datamaskin som fortsetter fortellingen Ms. Tech

Sist torsdag (14. februar) ga det ideelle forskningsfirmaet OpenAI ut en ny språkmodell i stand til å generere overbevisende passasjer av prosa. Så overbevisende , faktisk, at forskerne har avstått fra åpen kildekode koden, i håp om å stoppe den potensielle bevæpningen som et middel til å masseprodusere falske nyheter.

En OpenAI-ansatt skrev ut denne AI-skrevne prøven og postet den ved papirkurven: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

— Greg Brockman (@gdb) 14. februar 2019

Mens de imponerende resultatene er et bemerkelsesverdig sprang utover hva eksisterende språkmodeller har oppnådd, er ikke teknikken som er involvert akkurat ny. I stedet ble gjennombruddet først og fremst drevet av å gi algoritmen stadig flere treningsdata – et triks som også har vært ansvarlig for de fleste andre nylige fremskritt i å lære AI å lese og skrive. Det er på en måte overraskende folk med tanke på hva du kan gjøre med [...] flere data og større modeller, sier Percy Liang, professor i informatikk ved Stanford.

Tekststykkene som modellen produserer, er gode nok til å utstille seg som noe menneskeskrevet. Men denne evnen bør ikke forveksles med en genuin forståelse av språk – det endelige målet for underfeltet til AI kjent som naturlig språkbehandling (NLP). (Det er en analog i datasyn: en algoritme kan syntetisere svært realistiske bilder uten noen ekte visuell forståelse.) Faktisk er det å få maskiner til det nivået av forståelse en oppgave som i stor grad har unngått NLP-forskere. Dette målet kan ta år, ja tiår, å oppnå, antar Liang, og vil sannsynligvis involvere teknikker som ennå ikke eksisterer.

Fire forskjellige språkfilosofier driver for tiden utviklingen av NLP-teknikker. La oss begynne med den som brukes av OpenAI.

#1. Distribusjonssemantikk

Språkfilosofi. Ord får betydning fra hvordan de brukes. For eksempel er ordene katt og hund relatert i betydning fordi de brukes mer eller mindre på samme måte. Du kan mate og klappe en katt, og du kan mate og klappe en hund. Du kan imidlertid ikke mate og klappe en appelsin.

Relatert historie

Relatert historie Matet med milliarder av ord, lager denne algoritmen overbevisende artikler og viser hvordan AI kan brukes til å lure folk i masseskala.

Hvordan det oversettes til NLP. Algoritmer basert på distribusjonssemantikk har i stor grad vært ansvarlig for de siste gjennombruddene i NLP . De bruker maskinlæring for å behandle tekst, og finner mønstre ved i hovedsak å telle hvor ofte og hvor tett ord brukes i forhold til hverandre. De resulterende modellene kan deretter bruke disse mønstrene til å konstruere komplette setninger eller avsnitt, og drive ting som autofullføring eller andre prediktive tekstsystemer. De siste årene har noen forskere også begynt å eksperimentere med å se på fordelingen av tilfeldige tegnsekvenser i stedet for ord, så modeller kan mer fleksibelt håndtere akronymer, tegnsetting, slang og andre ting som ikke vises i ordboken, samt språk som ikke har klare avgrensninger mellom ord.

Fordeler. Disse algoritmene er fleksible og skalerbare, fordi de kan brukes i enhver kontekst og lære av umerkede data.

Ulemper. Modellene de produserer forstår faktisk ikke setningene de konstruerer. På slutten av dagen skriver de prosa ved å bruke ordassosiasjoner.

#2. Rammesemantikk

Språkfilosofi. Språk brukes til å beskrive handlinger og hendelser, så setninger kan deles inn i emner, verb og modifikatorer— hvem , hva , hvor , og når .

Hvordan det oversettes til NLP. Algoritmer basert på rammesemantikk bruker et sett med regler eller massevis av merkede treningsdata for å lære å dekonstruere setninger. Dette gjør dem spesielt gode til å analysere enkle kommandoer – og dermed nyttige for chatbots eller taleassistenter. Hvis du spurte Alexa om å finne en restaurant med fire stjerner for i morgen, for eksempel, ville en slik algoritme finne ut hvordan setningen skal utføres ved å dele den opp i handlingen (finn), hva (restaurant med fire stjerner), og når (i morgen).

Fordeler. I motsetning til distribusjons-semantiske algoritmer, som ikke forstår teksten de lærer av, kan rammesemantiske algoritmer skille de forskjellige informasjonsbitene i en setning. Disse kan brukes til å svare på spørsmål som Når finner denne begivenheten sted?

Ulemper. Disse algoritmene kan bare håndtere svært enkle setninger og klarer derfor ikke å fange opp nyanser. Fordi de krever mye kontekstspesifikk opplæring, er de heller ikke fleksible.

#3. Modellteoretisk semantikk

Språkfilosofi. Språk brukes til å formidle menneskelig kunnskap.

Hvordan det oversettes til NLP. Modellteoretisk semantikk er basert på en gammel idé innen AI om at all menneskelig kunnskap kan kodes, eller modellert , i en rekke logiske regler. Så hvis du vet at fugler kan fly, og ørner er fugler, så kan du utlede at ørn kan fly. Denne tilnærmingen er ikke lenger på moten fordi forskere snart innså at det var for mange unntak fra hver regel (pingviner er for eksempel fugler, men kan ikke fly). Men algoritmer basert på modellteoretisk semantikk er fortsatt nyttige for å trekke ut informasjon fra kunnskapsmodeller, som databaser. Som ramme-semantikk-algoritmer, analyserer de setninger ved å dekonstruere dem til deler. Men mens rammesemantikk definerer disse delene som hvem , hva , hvor , og når , definerer modellteoretisk semantikk dem som de logiske reglene som koder for kunnskap. Tenk for eksempel på spørsmålet Hva er den største byen i Europa etter innbyggertall? En modellteoretisk algoritme ville bryte den ned i en serie med selvstendige spørsmål: Hva er alle byene i verden? Hvilke er i Europa? Hva er byenes befolkning? Hvilken befolkning er størst? Den vil da kunne krysse kunnskapsmodellen for å få det endelige svaret.

Fordeler. Disse algoritmene gir maskiner muligheten til å svare på komplekse og nyanserte spørsmål.

Ulemper. De krever en kunnskapsmodell som er tidkrevende å bygge, og er ikke fleksible på tvers av ulike kontekster.

#4. Jordet semantikk

Språkfilosofi. Språk henter mening fra levd erfaring. Med andre ord, mennesker skapte språk for å nå sine mål, så det må forstås innenfor konteksten av vår målorienterte verden.

Hvordan det oversettes til NLP. Dette er den nyeste tilnærmingen og den som Liang mener holder mest. Den prøver å etterligne hvordan mennesker fanger opp språk i løpet av livet: Maskinen starter med en tom tilstand og lærer å assosiere ord med de riktige betydningene gjennom samtale og interaksjon. I et enkelt eksempel, hvis du ønsket å lære en datamaskin å flytte objekter rundt i en virtuell verden, ville du gi den en kommando som Flytt den røde blokken til venstre og deretter vise den hva du mente. Over tid ville maskinen lære å forstå og utføre kommandoene uten hjelp.

Fordeler. I teorien skal disse algoritmene være svært fleksible og komme nærmest en genuin språkforståelse.

Ulemper. Undervisningen er veldig tidkrevende – og ikke alle ord og uttrykk er like enkle å illustrere som Flytt den røde blokken.

På kort sikt, tror Liang, vil NLP-feltet se mye mer fremgang fra å utnytte eksisterende teknikker, spesielt de som er basert på distribusjonssemantikk. Men på lengre sikt, mener han, har de alle grenser. Det er sannsynligvis et kvalitativt gap mellom måten mennesker forstår språk og oppfatter verden på og våre nåværende modeller, sier han. Å tette det gapet ville trolig kreve en ny måte å tenke på, legger han til, i tillegg til mye mer tid.

Dette dukket opprinnelig opp i vårt AI-nyhetsbrev The Algorithm. For å få den levert direkte til innboksen din, registrer deg her gratis.

gjemme seg