Baidu har et nytt triks for å lære AI betydningen av språk

Boktrykktegn MS Tech / Kilde: Unsplash

Tidligere denne måneden detroniserte en kinesisk teknologigigant Microsoft og Google i en pågående konkurranse innen AI. Selskapet var Baidu, Kinas nærmeste ekvivalent til Google, og konkurransen var General Language Understanding Evaluation, ellers kjent som GLUE.

GLUE er en allment akseptert målestokk for hvor godt et AI-system forstår menneskelig språk. Den består av ni forskjellige tester for ting som å plukke ut navnene på personer og organisasjoner i en setning og finne ut hva et pronomen som det refererer til når det er flere potensielle antecedenter. En språkmodell som skårer høyt på GLUE, kan derfor håndtere ulike leseforståelsesoppgaver. Av en full score på 100, scorer gjennomsnittspersonen rundt 87 poeng . Baidu er nå det første laget som overgår 90 med sin modell, ERNIE.

De offentlig ledertavle for GLUE er i konstant endring, og et annet lag vil sannsynligvis toppe Baidu snart. Men det som er bemerkelsesverdig med Baidus prestasjon er at det illustrerer hvordan AI-forskning drar nytte av et mangfold av bidragsytere. Baidus forskere måtte utvikle en teknikk spesifikt for det kinesiske språket for å bygge ERNIE (som står for Enhanced Representation through Knowledge IntEgration). Det skjer imidlertid at den samme teknikken gjør den bedre til å forstå engelsk også.

ERNIEs forgjenger

For å sette pris på ERNIE, vurder modellen den ble inspirert av: Googles BERT . (Ja, de er begge oppkalt etter Sesame gate tegn .)

Før BERT (Bidirectional Encoder Representations from Transformers) ble opprettet på slutten av 2018, var ikke naturlige språkmodeller så gode. De var flinke til å forutsi neste ord i en setning – og derfor godt egnet for programmer som Autofullføring – men de klarte ikke å opprettholde en eneste tankerekke over selv en liten passasje. Dette var fordi de ikke forsto mening, for eksempel hva ordet det kan referere til.

Men BERT endret det. Tidligere modeller lærte å forutsi og tolke betydningen av et ord ved å vurdere bare konteksten som dukket opp før eller etter det – aldri begge samtidig. De var med andre ord ensrettet .

BERT, derimot, vurderer konteksten før og etter et ord på en gang, gjør det toveis . Den gjør dette ved å bruke en teknikk kjent som maskering. I et gitt tekststykke skjuler BERT tilfeldig 15 % av ordene og prøver deretter å forutsi dem fra de resterende. Dette gjør at den kan lage mer nøyaktige spådommer fordi den har dobbelt så mange signaler å jobbe ut fra. I setningen Mannen gikk til ___ for å kjøpe melk, for eksempel gir både begynnelsen og slutten av setningen hint om det manglende ordet. ___ er et sted du kan gå og et sted du kan kjøpe melk.

Bruken av maskering er en av kjerneinnovasjonene bak dramatiske forbedringer i naturlige språkoppgaver og er en del av grunnen til at modeller som OpenAIs beryktede GPT-2 kan skrive ekstremt overbevisende prosa uten å avvike fra en sentral avhandling.

Fra engelsk til kinesisk og tilbake igjen

Da Baidu-forskerne begynte å utvikle sin egen språkmodell, ønsket de å bygge videre på maskeringsteknikken. Men de skjønte at de måtte finjustere det for å tilpasse det kinesiske språket.

På engelsk fungerer ordet som den semantiske enheten - noe som betyr at et ord som er trukket helt ut av kontekst fortsatt inneholder mening. Det samme kan ikke sies for tegn på kinesisk. Mens visse karakterer har iboende betydning, som ild (火, huŏ ), vann (vann, shuĭ ), eller tre (木, blind ), de fleste gjør det ikke før de er spent sammen med andre. Karakteren 灵 ( lyng ), for eksempel, kan enten bety smart (机灵, jīlíng ) eller sjel (sjel, língún ), avhengig av samsvaret. Og karakterene i et egennavn som Boston (波士顿, bōshìdùn ) eller USA (USA, mikser ) betyr ikke det samme når de er delt fra hverandre.

Så forskerne trente ERNIE på en ny versjon av maskering som skjuler strenger av tegn i stedet for enkeltstående. De trente den også opp til å skille mellom meningsfulle og tilfeldige strenger, slik at den kunne maskere de riktige tegnkombinasjonene deretter. Som et resultat har ERNIE et større grep om hvordan ord koder informasjon på kinesisk og er mye mer nøyaktig til å forutsi de manglende brikkene. Dette viser seg nyttig for applikasjoner som oversettelse og informasjonshenting fra et tekstdokument.

Forskerne oppdaget veldig raskt at denne tilnærmingen faktisk fungerer bedre for engelsk også. Selv om det ikke er så ofte som kinesisk, har engelsk på samme måte strenger med ord som uttrykker en mening som er forskjellig fra summen av delene. Egensubstantiv som Harry Potter og uttrykk som chip off den gamle blokken kan ikke analyseres meningsfullt ved å dele dem i individuelle ord.

Så for setningen:

Harry Potter er en serie fantasy-romaner skrevet av J.K. Rowling.

BERT kan maskere det på følgende måte:

[mask] Potter er en serie [mask] fantasy romaner [mask] av J. [mask] Rowling.

Men ERNIE ville i stedet maskere det slik:

Harry Potter er [maske] [maske] [maske] fantasyromaner av [maske] [maske] [maske].

ERNIE lærer dermed mer robuste spådommer basert på mening i stedet for statistiske ordbruksmønstre.

Et mangfold av ideer

Den siste versjonen av ERNIE bruker også flere andre treningsteknikker. Den vurderer rekkefølgen av setninger og avstandene mellom dem, for eksempel for å forstå den logiske progresjonen til et avsnitt. Det viktigste er imidlertid at den bruker en metode som kalles kontinuerlig trening som lar den trene på nye data og nye oppgaver uten at den glemmer de den har lært før. Dette gjør at den kan bli bedre og bedre til å utføre et bredt spekter av oppgaver over tid med minimal menneskelig innblanding.

Baidu bruker ERNIE aktivt for å gi brukerne mer anvendelige søkeresultater, fjerne dupliserte historier i nyhetsfeeden og forbedre AI-assistenten Xiao Du sin evne til å svare nøyaktig på forespørsler. Den har også beskrevet ERNIEs nyeste arkitektur i et papir som vil bli presentert på konferansen Association for the Advancement of Artificial Intelligence neste år. På samme måte som teamet deres bygde på Googles arbeid med BERT, håper forskerne at andre også vil dra nytte av arbeidet deres med ERNIE.

Da vi først startet dette arbeidet, tenkte vi spesifikt på visse kjennetegn ved det kinesiske språket, sier Hao Tian, ​​sjefsarkitekten til Baidu Research. Men vi oppdaget raskt at det var aktuelt utover det.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.

gjemme seg