211service.com
AI har fortsatt ikke sunn fornuft til å forstå menneskelig språk
Uskarp skrift på veggen Pexels / Jimmy Chan
Inntil ganske nylig var datamaskiner håpløse til å produsere setninger som faktisk ga mening. Men feltet for naturlig språkbehandling (NLP) har tatt store fremskritt, og maskiner kan nå generere overbevisende passasjer ved å trykke på en knapp.
Disse fremskrittene har blitt drevet av dyplæringsteknikker, som plukker ut statistiske mønstre i ordbruk og argumentstruktur fra store mengder tekst. men a nytt papir fra Allen Institute of Artificial Intelligence gjør oppmerksom på noe som fortsatt mangler: maskiner forstår egentlig ikke hva de skriver (eller leser).
Dette er en grunnleggende utfordring i den store jakten på generaliserbar AI – men utover akademia er det også relevant for forbrukere. Chatbots og taleassistenter bygget på toppmoderne naturlige språkmodeller har for eksempel blitt grensesnittet for mange finansinstitusjoner , helsepersonell , og offentlige etater . Uten en genuin språkforståelse er disse systemene mer utsatt for å mislykkes, noe som reduserer tilgangen til viktige tjenester.
Forskerne bygget på arbeidet til Winograd Schema Challenge , en test opprettet i 2011 for å evaluere sunn fornuft resonnementet til NLP-systemer. Utfordringen bruker et sett med 273 spørsmål som involverer setningspar som er identiske bortsett fra ett ord. Det ordet, kjent som en trigger, snur betydningen av hver setnings pronomen, som vist i eksemplet nedenfor:
- Trofeet passer ikke inn i den brune kofferten pga det er også stor .
- Trofeet passer ikke inn i den brune kofferten pga det er også liten .
For å lykkes må et NLP-system finne ut hvilket av to alternativer pronomenet refererer til. I dette tilfellet må den velge trofé for den første og koffert for den andre for å løse problemet på riktig måte.
Testen ble opprinnelig designet med ideen om at slike problemer ikke kunne besvares uten en dypere forståelse av semantikk. State-of-the-art dyplæringsmodeller kan nå nå rundt 90 % nøyaktighet, så det ser ut til at NLP har kommet nærmere målet. Men i papiret deres, som vil motta Outstanding Paper Award på neste måneds AAAI-konferanse, utfordrer forskerne effektiviteten til referanseindeksen og dermed nivået på fremgangen som feltet faktisk har gjort.
De opprettet et betydelig større datasett, kalt WinoGrande, med 44 000 av de samme typene problemer. For å gjøre det utviklet de et crowdsourcing-opplegg for raskt å opprette og validere nye setningspar. (Noe av grunnen til at Winograd-datasettet er så lite er at det ble håndlaget av eksperter.) Arbeidere på Amazon Mechanical Turk laget nye setninger med nødvendige ord valgt gjennom en randomiseringsprosedyre. Hvert setningspar ble deretter gitt til tre ekstra arbeidere og beholdt bare hvis det oppfylte tre kriterier: minst to arbeidere valgte de riktige svarene, alle tre anså alternativene som utvetydige, og pronomenets referanser kunne ikke utledes gjennom enkle ordassosiasjoner.
Som et siste trinn kjørte forskerne også datasettet gjennom en algoritme for å fjerne så mange artefakter som mulig – utilsiktede datamønstre eller korrelasjoner som kan hjelpe en språkmodell med å komme frem til de riktige svarene av feil grunner. Dette reduserte sjansen for at en modell kunne lære å spille datasettet.
Da de testet toppmoderne modeller på disse nye problemene, falt ytelsen til mellom 59,4 % og 79,1 %. Derimot nådde mennesker fortsatt 94% nøyaktighet. Dette betyr at en høy poengsum på den originale Winograd-testen sannsynligvis er oppblåst. Det er bare en datasettspesifikk prestasjon, ikke en generell oppgaveoppnåelse, sier Yejin Choi, førsteamanuensis ved University of Washington og senior forskningsleder ved AI2, som ledet forskningen.
Choi håper datasettet vil tjene som et nytt benchmark. Men hun håper også det vil inspirere flere forskere til å se utover dyp læring. Resultatene understreket for henne at ekte sunn fornuft NLP-systemer må inkludere andre teknikker, for eksempel strukturerte kunnskapsmodeller. Henne tidligere arbeid har vist betydelig løfte i denne retningen. Vi må liksom finne en annen spilleplan, sier hun.
Avisen har fått en del kritikk. Ernest Davis, en av forskerne som jobbet med den originale Winograd-utfordringen, sier at mange av eksempelsetningsparene som er oppført i papiret er alvorlige feil, med forvirrende grammatikk. De samsvarer ikke med måten folk som snakker engelsk faktisk bruker pronomen på, skrev han i en e-post.
Men Choi bemerker at virkelig robuste modeller ikke trenger perfekt grammatikk for å forstå en setning. Folk som snakker engelsk som andrespråk blander noen ganger grammatikken sin, men formidler likevel betydningen.
Mennesker kan lett forstå hva spørsmålene våre handler om og velge riktig svar, sier hun og refererer til 94 % ytelsesnøyaktighet. Hvis mennesker skal kunne gjøre det, er min holdning at maskiner også skal kunne gjøre det.
For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.