211service.com
En algoritme oppsummerer lang tekst overraskende godt
MR. tech
Hvem har tid til å lese hver artikkel de ser delt på Twitter eller Facebook, eller alle dokumenter som er relevante for jobben deres? Ettersom informasjonsoverskuddet blir stadig verre, kan datamaskiner bli vårt eneste håp for å håndtere en voksende flom av dokumenter. Og det kan bli rutine å stole på en maskin for å analysere og parafrasere artikler, forskningsartikler og annen tekst for deg.
En algoritme utviklet av forskere ved Salesforce viser hvordan datamaskiner til slutt kan ta på seg jobben med å oppsummere dokumenter. Den bruker flere maskinlæringstriks for å produsere overraskende sammenhengende og nøyaktige tekstutdrag fra lengre stykker. Og selv om den ennå ikke er så god som en person, antyder den hvordan komprimerende tekst til slutt kan bli automatisert.
Algoritmen produserte for eksempel følgende sammendrag av en nylig New York Times artikkel om Facebook som prøver å bekjempe falske nyheter i forkant av Storbritannias kommende valg:
- Sosialt nettverk publiserte mandag en rekke annonser i aviser i Storbritannia.
- Den har fjernet titusenvis av falske kontoer i Storbritannia.
- Den sa også at den ville ansette 3000 flere moderatorer, nesten en dobling av antallet mennesker over hele verden som søker etter upassende eller støtende innhold.
Salesforce-algoritmen er dramatisk bedre enn noe som er utviklet tidligere, ifølge et vanlig programvareverktøy for å måle nøyaktigheten til tekstsammendrag.
Jeg tror aldri jeg noen gang har sett en så stor forbedring i noen [naturlig-språkbehandling]-oppgave, sier Richard Socher , sjefforsker i Salesforce. Socher er et fremtredende navn innen maskinlæring og naturlig språkbehandling, og oppstarten hans, MetaMind , ble kjøpt opp av Salesforce i 2016.
Programvaren er fortsatt langt fra å matche et menneskes evne til å fange essensen av dokumenttekst, og andre sammendrag den produserer er sløvere og mindre sammenhengende. Å oppsummere tekst perfekt ville faktisk kreve genuin intelligens, inkludert sunn fornuftskunnskap og en mestring av språk.
Å analysere språk er fortsatt en av de store utfordringene med kunstig intelligens (se AIs språkproblem). Men det er en utfordring med et enormt kommersielt potensial. Selv begrenset språklig intelligens – evnen til å analysere talte eller skriftlige spørsmål, og svare på mer sofistikerte og sammenhengende måter – kan forvandle personlig databehandling. På mange spesialistområder – som medisin, vitenskapelig forskning og juss – kan kondensering av informasjon og trekke ut innsikt ha store kommersielle fordeler.
Caiming Xiong, en forsker ved Salesforce som bidro til arbeidet, sier at teamets algoritme, selv om den er ufullkommen, kan oppsummere daglige nyhetsartikler eller gi en oversikt over kunde-e-poster. Sistnevnte kan være spesielt nyttig for Salesforces egen plattform.
Teamets algoritme bruker en kombinasjon av tilnærminger for å oppnå forbedringer. Systemet lærer av eksempler på gode oppsummeringer, en tilnærming som kalles overvåket læring, men bruker også en slags kunstig oppmerksomhet til teksten det inntar og sender ut. Dette bidrar til å sikre at det ikke produserer for mange repeterende tekststrenger, et vanlig problem med oppsummeringsalgoritmer.
Systemet eksperimenterer for å generere egne sammendrag ved å bruke en prosess som kalles forsterkningslæring. Inspirert av måten dyr ser ut til å lære, innebærer dette å gi positive tilbakemeldinger for handlinger som leder mot et bestemt mål. Forsterkningslæring har blitt brukt til å trene datamaskiner til å gjøre imponerende nye ting, som å spille komplekse spill eller kontrollere roboter (se 10 Breakthrough Technologies 2017: Reinforcement Learning ). De som jobber med samtalegrensesnitt ser nå i økende grad på forsterkende læring som en måte å forbedre systemene sine på.
Kristian Hammond , professor ved Northwestern University, og grunnleggeren av Narrativ vitenskap , et selskap som genererer narrative rapporter fra rådata, sier at Salesforce-undersøkelsen er et godt fremskritt, men den viser også grensene for å stole utelukkende på statistisk maskinlæring. På et tidspunkt må vi innrømme at vi trenger litt semantikk og litt syntaktisk kunnskap i disse systemene for at de skal være flytende og flytende, sier Hammond.
Hammond sier at bruken av en oppmerksomhetsmekanisme etterligner, på et veldig enkelt nivå, måten en person tar hensyn til det han nettopp har sagt. Når du sier noe, er detaljene i hvordan du sier det drevet av konteksten til det du har sagt før, sier han. Dette arbeidet er et skritt i den retningen.
Å forbedre språkkunnskapene til datamaskiner kan også vise seg å være viktig i søken etter å fremme kunstig intelligens. En oppstart kalt Maluuba , som ble kjøpt opp tidligere i år av Microsoft, produserte nylig et system som er i stand til å generere relevante spørsmål fra tekst. Maluuba-teamet brukte også en kombinasjon av veiledet læring og forsterkende læring.
Adam Trischler, seniorforsker ved Maluuba, sier å stille relevante spørsmål er en viktig del av læringen, så det er viktig å lage nysgjerrige maskiner også. Det endelige målet er å bruke spørsmål-og-svar i en dialog, sier Trischler. Hva om en maskin kunne gå ut og samle informasjon og så stille sine egne spørsmål?