211service.com
Feltet naturlig språkbehandling jager feil mål
Ms Tech | Unsplash
På et typisk årsmøte i Foreningen for datalingvistikk (ACL), programmet er en parade av titler som En strukturert variasjonsautokoder for kontekstuell morfologisk bøyning. Den samme tekniske smaken gjennomsyrer avisene, forskningssamtalene og mange gangchatter.
På årets konferanse i juli føltes noe annerledes – og det var ikke bare det virtuelle formatet. Deltakernes samtaler var uvanlig introspektive om kjernemetodene og målene for naturlig-språkbehandling (NLP), grenen av AI fokusert på å lage systemer som analyserer eller genererer menneskelig språk. Papirer i årets nye Temaspor stilte spørsmål som: Er gjeldende metoder egentlig nok for å nå feltets endelige mål? Hva er det til og med disse målene?
Mine kolleger og jeg kl Elementær erkjennelse , et AI-forskningsfirma med base i Connecticut og New York, ser angsten som berettiget. Faktisk tror vi at feltet trenger en transformasjon, ikke bare i systemdesign, men i et mindre glamorøst område: evaluering.
Den nåværende NLP-tidsånden oppsto fra et halvt tiår med jevne forbedringer under standardevalueringsparadigmet. Systemenes evne til å forstå har generelt blitt målt på referansedatasett bestående av tusenvis av spørsmål, hver ledsaget av passasjer som inneholder svaret. Da dype nevrale nettverk feide feltet på midten av 2010-tallet, brakte de et kvantesprang i ytelse. Påfølgende arbeidsrunder holdt poeng stadig nærmere 100 % (eller i det minste paritet med mennesker).
Så forskere ville publisere nye datasett av til og med vanskeligere spørsmål , bare for å se enda større nevrale nettverk raskt legge inn imponerende resultater. Mye av dagens leseforståelsesforskning innebærer nøye tilpasning av modeller for å få ut noen flere prosentpoeng på de siste datasettene. State of the art har praktisk talt blitt et egennavn: Vi slo SOTA videre SQUAD med 2,4 poeng!
Men mange mennesker i de felt begynner å bli lei av slik ledertavlejaging. Hva har verden egentlig vunnet hvis et massivt nevralt nettverk oppnår SOTA på en eller annen benchmark med et poeng eller to? Det er ikke som om noen bryr seg om å svare på disse spørsmålene for sin egen skyld; å vinne ledertavlen er en akademisk øvelse som kanskje ikke gjør virkelige verktøy bedre. Faktisk kommer mange tilsynelatende forbedringer ikke fra generelle forståelsesevner, men fra modellenes ekstraordinære ferdigheter på utnytter falsk mønstre i dataene. Kan de siste fremskritt virkelig føre til å hjelpe mennesker med å løse problemer?
Slik tvil er mer enn abstrakt fretting; Hvorvidt systemer virkelig er dyktige på språkforståelse har en reell innsats for samfunnet. Selvfølgelig innebærer forståelse en bred samling av ferdigheter. For enklere applikasjoner – for eksempel å hente Wikipedia-faktoider eller vurdere følelsen i produktanmeldelser – moderne metoder gjør det ganske bra . Men når folk forestiller seg datamaskiner som forstår språk, ser de for seg langt mer sofistikert atferd: juridiske verktøy som hjelper folk å analysere vanskelighetene deres; forskningsassistenter som syntetiserer informasjon fra hele nettet; roboter eller spillfigurer som utfører detaljerte instruksjoner.
Dagens modeller er ikke i nærheten av å oppnå det forståelsesnivået – og det er ikke klart at enda et SOTA-dokument vil bringe feltet nærmere.
Hvordan endte NLP-samfunnet opp med et slikt gap mellom evalueringer på papir og evner i den virkelige verden? I en ACL posisjonspapir , mine kollegaer og jeg argumenterer for at i søken etter å nå vanskelige målestokker, har evalueringer mistet de virkelige målene av syne: de sofistikerte nedstrømsapplikasjonene. For å låne en linje fra avisen, har NLP-forskerne trent seg til å bli profesjonelle sprintere ved å kaste et blikk rundt treningsstudioet og ta i bruk øvelser som ser harde ut.
For å bringe evalueringene mer i tråd med målene, hjelper det å vurdere hva som holder dagens systemer tilbake.
Et menneske som leser en passasje vil bygge en detaljert representasjon av enheter, steder, hendelser og deres relasjoner – en mental modell av verden beskrevet i teksten. Leseren kan deretter fylle ut manglende detaljer i modellen, ekstrapolere en scene forover eller bakover, eller til og med gi hypoteser om kontrafaktiske alternativer.
Denne typen modellering og resonnement er nøyaktig hva automatiserte forskningsassistenter eller spillkarakterer må gjøre - og det mangler påfallende i dagens systemer. En NLP-forsker kan vanligvis stoppe et toppmoderne leseforståelsessystem i løpet av noen få forsøk. En pålitelig teknikk er å undersøke systemets modell av verden, som kan forlate selv den mye balllyhoote GPT-3 babling om sykloptiske gressstrå.
Å fylle automatiserte lesere med verdensmodeller vil kreve store innovasjoner innen systemdesign, som diskutert i flere Temaspor innleveringer . Men vårt argument er mer grunnleggende: hvordan systemer implementeres, hvis de trenger å ha trofaste verdensmodeller, bør evalueringer systematisk teste om de har trofaste verdensmodeller.
Uttalt så skallet, det kan høres innlysende ut, men det blir sjelden gjort. Forskningsgrupper som Allen Institute for AI ha foreslått andre måter å skjerpe evalueringene på, for eksempel å målrette ulike språklige strukturer, stille spørsmål som er avhengige av flere resonnementtrinn, eller til og med bare aggregering mange benchmarks . Andre forskere, som f.eks Yejin Choi sin gruppe ved University of Washington, har fokusert på testing felles føle , som trekker inn aspekter av en verdensmodell. Slike anstrengelser er nyttige, men de fokuserer generelt fortsatt på å kompilere spørsmål som dagens systemer sliter med å svare på.
Vi foreslår et mer grunnleggende skifte: for å konstruere mer meningsfulle evalueringer, bør NLP-forskere starte med å spesifisere grundig hva et systems verdensmodell skal inneholde for å være nyttig for nedstrømsapplikasjoner. Vi kaller en slik beretning en mal for forståelse.
Et spesielt lovende testområde for denne tilnærmingen er fiktive historier. Originalhistorier er informasjonsrike, ikke-Googlebare og sentrale i mange applikasjoner, noe som gjør dem til en ideell test av leseforståelse. Trekker på kognitiv vitenskapelig litteratur om menneskelige lesere, vår administrerende direktør David Ferrucci har foreslått en firedelt mal for å teste et AI-systems evne til å forstå historier.
- Romlig: Hvor er alt plassert og hvordan er det plassert gjennom historien?
- Midlertidig: Hvilke hendelser skjer og når?
- Årsak: Hvordan fører hendelser mekanistisk til andre hendelser?
- Motiverende: Hvorfor bestemmer karakterene seg for å ta handlingene de tar?
Ved å systematisk stille disse spørsmålene om alle enhetene og hendelsene i en historie, kan NLP-forskere skåre systemenes forståelse på en prinsipiell måte, og undersøke verdensmodellene som systemene faktisk trenger.
Det er oppmuntrende å se NLP-fellesskapet reflektere over hva som mangler i dagens teknologier. Vi håper denne tenkningen vil føre til betydelige investeringer, ikke bare i nye algoritmer, men i nye og mer strenge måter å måle maskinens forståelse på. Slikt arbeid skaper kanskje ikke så mange overskrifter, men vi mistenker at investeringer på dette området vil presse feltet minst like mye fremover som den neste gigantiske modellen.
Jesse Dunietz er forsker ved Elementær erkjennelse , hvor han jobber med å utvikle strenge evalueringer for leseforståelsessystemer. Han er også en pedagogisk designer for MIT Kommunikasjonslab og a vitenskapsforfatter .