Språkvitenskapens gjennombrudd varsler maskinoversettelse for tusenvis av sjeldne språk

Den beste gjetningen er at mennesker for tiden snakker rundt 6900 forskjellige språk. Mer enn halvparten av verdens befolkning kommuniserer med bare en håndfull av dem – kinesisk, engelsk, hindi, spansk og russisk. Faktisk kommuniserer 95 prosent av mennesker ved å bruke bare 100 språk.

De andre argotene er mye mindre vanlige. Faktisk anslår lingvister at omtrent en tredjedel av verdens språk snakkes av færre enn 1000 mennesker og står i fare for å dø ut i løpet av de neste 100 årene eller så. Med dem vil de få den unike kulturarven som de legemliggjør – historier, fraser, vitser, urtemedisiner og til og med unike følelser.

Det er lett å tenke at maskinlæring kan hjelpe. Problemet er at maskinoversettelse er avhengig av enorme annoterte datasett for å drive handelen. Disse datasettene består av enorme korpora av bøker, artikler og nettsteder som er manuelt oversatt til andre språk. Dette fungerer som en Rosetta-stein for maskinlæringsalgoritmer, og jo større datasett, jo bedre lærer de.

Et kart som viser hvordan preteritumsindikatorer grupperer seg for 100 av språkene som er undersøkt.

Men disse enorme datasettene eksisterer rett og slett ikke for de fleste språk. Det er derfor maskinoversettelse fungerer bare for en liten brøkdel av de vanligste lingos. Google Translate, for eksempel, snakker bare rundt 90 språk.

Så en viktig utfordring for lingvister er å finne en måte å automatisk analysere mindre vanlige språk for å bedre forstå dem.

I dag sier Ehsaneddin Asgari og Hinrich Schutze ved Ludwig-Maximilian-universitetet i München i Tyskland at de har gjort nettopp det. Deres nye tilnærming avslører viktige elementer i nesten alle språk som deretter kan brukes som et springbrett for maskinoversettelse.

Den nye teknikken er basert på én enkelt tekst som er oversatt til minst 2000 forskjellige språk. Dette er Bibelen, og lingvister har lenge erkjent dens betydning i deres disiplin.

Følgelig har de laget en database kalt Parallel Bible Corpus, som består av oversettelser av Det nye testamente på 1169 språk. Dette datasettet er ikke stort nok for den type industriell maskinlæring som Google og andre utfører. Så Asgari og Schutze har kommet opp med en annen tilnærming basert på måten tider vises på forskjellige språk.

De fleste språk bruker spesifikke ord eller bokstavkombinasjoner for å betegne tider. Så det nye trikset er å manuelt identifisere disse signalene på flere språk og deretter bruke datautvinningsteknikker for å lete gjennom andre oversettelser på jakt etter ord eller bokstavstrenger som spiller samme rolle.

For eksempel, på engelsk er nåtid betegnet med ordet er, fremtidig tid med ordet vil, og preteritum med ordet var. Selvfølgelig er det andre betegnelser også.

Asgari og Schutzes idé er å finne alle disse ordene i den engelske oversettelsen av Bibelen sammen med andre eksempler fra en håndfull andre språkoversettelser. Se deretter etter ord eller bokstavstrenger som spiller samme rolle på andre språk. For eksempel betyr bokstavstrengen -ed også preteritum på engelsk.

Men det er en vri. Asgari og Schutze starter ikke med engelsk fordi det er et relativt gammelt språk med mange unntak fra regelen, som gjør det vanskelig å lære.

I stedet starter de med et sett kreolske språk som har utviklet seg fra en blanding av andre språk. Fordi de er yngre, har kreolske språk hatt mindre tid til å utvikle disse språklige særegenhetene. Og det betyr at de generelt inneholder bedre markører for språklige trekk som anspent. Vår begrunnelse er at kreolske språk er mer regulære enn andre språk fordi de er unge og ikke har samlet «historisk bagasje» som kan gjøre beregningsanalyse vanskeligere, sier de.

Et av disse språkene er Seychelles Creole, som bruker ordet ti for å betegne preteritum. For eksempel betyr mon travay at jeg jobber på dette språket, mens mon ti travay betyr at jeg jobbet og mon ti pe travay betyr at jeg jobbet. Så ti er en god betegnelse på preteritum.

Asgari og Schutze kompilerer en liste over fortidsbetydere på 10 andre språk og henter deretter Parallel Bible Corpus for andre ord og bokstavstrenger som utfører samme funksjon. De gjentar dette for nåtid og fremtidig tid.

Resultatene gir interessant lesning. Teknikken avslører språklige konstruksjoner relatert til tid i vanlige språk som -ed på engelsk og -te på tysk, samt ordene og frasene som utfører de samme funksjonene på mye mindre vanlige språk som preteritums signifier den i Gourmanchema språk fra Burkino Faso, og yi i Yalunka, snakket i Mali, og så videre.

Dette arbeidet lar forskerne lage kart som viser hvordan språk som bruker lignende tidskonstruksjoner er relatert (se diagram).

Det er interessant arbeid. Asgari og Schutze har utviklet en beregningsmetode for å analysere hvordan folk bruker fortid, nåtid og fremtid på over 1000 språk. Dette er den største beregningsstudien på tvers av språk som noen gang er utført. Faktisk er antallet språk involvert en størrelsesorden større enn i andre studier.

Arbeidet har betydelig anvendelse. Språktidskartene lar forskerne raskt finne ut relasjonene mellom språk og hvordan de henger sammen. Det kan brukes til å bedre forstå utviklingen av språk.

Og samme tilnærming kan også brukes for andre språklige trekk. Vi krever bare at et språklig trekk er åpenlyst markert på noen få tusen språk i motsetning til å kreve at det markeres på alle språk som undersøkes, sier Asgari og Schutze.

Implikasjonene går lenger. Beregningslingvistikk har hatt en dyp innvirkning på vår forståelse av språk, måten det varierer rundt om i verden og hvordan maskiner kan forstå det. Denne nye disiplinen har gjort det mulig å automatisk oversette mange språk direkte til andre i skriftlig og muntlig form. Faktisk er løftet at øyeblikkelig maskinoversettelse snart vil matche og deretter overgå evnen til menneskelige tolker.

Men nytten av maskinoversettelse for visse språk gjør dem mer populære på bekostning av språk som ikke blir tatt hensyn til. Det er derfor maskinoversettelse kan fremskynde utryddelsen av truede språk.

Språkforskere har faktisk sett et lignende fenomen med andre former for massekommunikasjon, for eksempel satellitt-TV-tjenester. Disse sender vanligvis på et enkelt språk, som da blir mer ønskelig og populær enn språk som ikke kringkastes.

Asgari og Schutzes arbeid kan bidra til å snu dette nedgangsmønsteret. Selvfølgelig er det et stort skritt fra dette arbeidet til nøyaktig maskinoversettelse, men det er et skritt i riktig retning.

Ref: arxiv.org/abs/1704.08914 : Fortid, nåtid, fremtid: En beregningsmessig undersøkelse av typologien til tid på 1000 språk

gjemme seg