211service.com
Kokebøker, Wikipedia og automatisk generert Spanglish: De sære måtene AI-forskere samler data på
Joe Raedle/Getty Images
Data er oljen som driver AI-utviklingen, og det gir oss mange av fremskrittene vi tar for gitt: YouTube-teksting, Spotify-musikkanbefalinger, de skumle annonsene som følger deg rundt på Internett.
Men når det gjelder å samle inn nyttige data, må AI-eksperter ofte være kreative. Ta naturlig-språkbehandling (NLP), et underfelt av AI som fokuserer på å lære datamaskiner hvordan man analyserer menneskelig språk. På den årlige konferansen om empiriske metoder i NLP presenterte eksperter et bredt spekter av forskning som trakk på informasjon samlet på noen geniale måter. Vi har oppsummert fire av favorittprosjektene våre nedenfor.
SPANGLISK
Blant artikler om flerspråklig NLP i år, Microsoft presenterte en som fokuserte på å behandle kodeblandet språk – tekst eller tale som bytter flytende mellom to språk. Med tanke på at mer enn halvparten av verdens befolkning er flerspråklig, er dette understuderte området viktig.
Forskerne startet med spanglish (spansk og engelsk), men de manglet nok spanglish tekst til å trene opp maskinen. Så vanlig som kodemiksing er i flerspråklige samtaler, finnes det sjelden i tekst. For å overvinne denne utfordringen skrev forskerne et program for å sette engelsk inn i Microsoft Bing-oversetteren og flette noen setninger fra den spanske oversettelsen tilbake til originalteksten. Programmet sørget for at ordene og uttrykkene som ble byttet hadde samme betydning. Akkurat som det var de i stand til å lage så mye Spanglish som de trengte.
Den resulterende NLP-modellen overgikk tidligere modeller som ble trent på kun spansk og engelsk separat. Forskerne håper at arbeidet deres etter hvert vil bidra til å utvikle flerspråklige chatbots som kan snakke naturlig i kodeblandet språk.
KOKEBØKER
Oppskrifter er flotte for å lage mat, men de kan også gi næring til maskiner. De følger alle et lignende trinn-for-steg-mønster, og de inkluderer ofte bilder som samsvarer med teksten - en utmerket kilde til strukturerte data for å lære maskiner å forstå tekst og bilder samtidig. Det er derfor forskere ved Hacettepe University i Tyrkia satt sammen et gigantisk datasett av rundt 20 000 illustrerte matlagingsoppskrifter. De håper det vil være en ny ressurs for benchmarking av ytelsen til felles bilde-tekstforståelse.
Det de kaller RecipeQA vil bygge på tidligere forskning som har fokusert på maskinell leseforståelse og visuell forståelse hver for seg. I førstnevnte må maskinen forstå et spørsmål og en relatert passasje for å finne svaret; i sistnevnte søker den etter svaret i et relatert bilde i stedet. Å ha tekst og bilder side om side øker oppgavens kompleksitet fordi bildene og teksten kan dele utfyllende eller overflødig informasjon.
KORTERE SETNINGER
Google vil at AI skal piffe opp prosaen din. For dette formål opprettet forskere der det største datasettet noensinne for å dele opp lange setninger i mindre med tilsvarende betydning. Hvor finner du enorme mengder redigeringsdata? Wikipedia, selvfølgelig.
Fra Wikipedias rike redigeringshistorie hentet forskerteamet ut tilfeller der folk deler lange setninger. Resultatet: 60 ganger flere distinkte setningsdelte eksempler og 90 ganger flere ordforråd enn det som ble funnet i det forrige referansedatasettet for denne oppgaven. Datasettet spenner også over flere språk.
Da de trente en maskinlæringsmodell på de nye dataene deres, oppnådde den 91 % nøyaktighet. (Her reflekterer prosentandelen andelen setninger som beholdt sin mening og grammatiske korrekthet etter å ha blitt skrevet om.) Til sammenligning nådde en modell trent på tidligere data kun 32 % nøyaktighet. Når de kombinerte begge datasettene og trente en annen modell, oppnådde den 95 % nøyaktighet. Forskerne konkluderte med at fremtidige forbedringer kan gjøres ved å finne enda flere datakilder.
SOSIAL-MEDIA BIAS
Studier har vist at språket vi genererer kan være en god prediktor for vår rase, kjønn og alder, selv om den informasjonen aldri er eksplisitt oppgitt. Med det i tankene prøvde forskere ved Bar-Ilan University i Israel og Allen Institute for Artificial Intelligence å bruke AI for å de-bias tekst ved å fjerner de innebygde indikatorene .
For å skaffe nok data som kunne representere språkmønstrene på tvers av ulike demografiske grupper, henvendte de seg til Twitter. De samlet en haug med tweets fra brukere som var jevnt fordelt mellom ikke-spanske hvite og ikke-spanske svarte; mellom menn og kvinner; og mellom personer i aldersgruppene 18-34 og over 35 år.
De brukte deretter en kontradiktorisk tilnærming – sette to nevrale nettverk mot hverandre – for å se om de automatisk kunne fjerne de iboende demografiske indikatorene i tweetene. Det ene nevrale nettet prøvde å forutsi demografien, mens det andre prøvde å tilpasse teksten til å være helt nøytral, med målet om å redusere den første modellens prediksjonsnøyaktighet til 50 % (eller sjanse). Tilnærmingen dempet til slutt rase-, kjønns- og aldersindikatorer betydelig, men ikke helt.