Facebook har et nevralt nettverk som kan gjøre avansert matematikk

Her er en utfordring for de matematisk tilbøyelige blant dere. Løs følgende differensialligning for Y :

Du har 30 sekunder. Rask! Ingen tulling.

Svaret er selvfølgelig:

Hvis du ikke klarte å finne en løsning, ikke føl deg så ille. Dette uttrykket er så vanskelig at til og med ulike kraftige matematikkprogramvarepakker også mislyktes, selv etter 30 sekunder med tall-knusing.

Og likevel sier Guillaume Lample og François Charton, ved Facebook AI Research i Paris, at de har utviklet en algoritme som gjør jobben med bare et øyeblikks tanke. Disse karene har trent et nevralt nettverk til å utføre de nødvendige symbolske resonnementene for å differensiere og integrere matematiske uttrykk for første gang. Arbeidet er et betydelig skritt mot kraftigere matematisk resonnement og en ny måte å bruke nevrale nettverk utover tradisjonelle mønstergjenkjenningsoppgaver.

Først litt bakgrunn. Nevrale nettverk har blitt enormt oppnådd i mønstergjenkjenningsoppgaver som ansikts- og objektgjenkjenning, visse typer naturlig språkbehandling, og til og med å spille spill som sjakk, Go og Space Invaders.

Men til tross for mye innsats, har ingen vært i stand til å trene dem til å gjøre symbolske resonnementoppgaver som de som er involvert i matematikk. Det beste nevrale nettverk har oppnådd er addisjon og multiplikasjon av hele tall.

Både for nevrale nettverk og mennesker er en av vanskelighetene med avanserte matematiske uttrykk stenografien de er avhengige av. For eksempel uttrykket x 3 er en stenografisk måte å skrive på x ganget med x ganget med x . I dette eksemplet er multiplikasjon en forkortelse for gjentatt addisjon, som i seg selv er en forkortelse for den totale verdien av to mengder kombinert.

Det er lett å se at selv et enkelt matematisk uttrykk er en svært komprimert beskrivelse av en sekvens av mye enklere matematiske operasjoner.

Så det er ingen overraskelse at nevrale nettverk har slitt med denne typen logikk. Hvis de ikke vet hva stenografien representerer, er det liten sjanse for at de lærer å bruke den. Faktisk har mennesker et lignende problem, ofte innpodet fra en tidlig alder.

Ikke desto mindre, på det grunnleggende nivået, involverer prosesser som integrasjon og differensiering fortsatt mønstergjenkjenningsoppgaver, om enn skjult av matematisk stenografi.

Gå inn i Lample og Charton, som har funnet på en elegant måte å pakke ut matematisk stenografi i sine grunnleggende enheter. De lærer deretter et nevralt nettverk å gjenkjenne mønstrene for matematisk manipulasjon som tilsvarer integrasjon og differensiering. Til slutt slipper de det nevrale nettverket løs på uttrykk det aldri har sett, og sammenligner resultatene med svarene fra konvensjonelle løsere som Mathematica og Matlab.

Den første delen av denne prosessen er å bryte ned matematiske uttrykk i deres komponentdeler. Lample og Charton gjør dette ved å representere uttrykk som trelignende strukturer. Bladene på disse trærne er tall, konstanter og variabler som x ; de interne nodene er operatorer som addisjon, multiplikasjon, differensiere-med-hensyn til, og så videre.

For eksempel kan uttrykket 2 + 3 x (5+2) skrives som:

Og uttrykket

er:

Og så videre.

Trær er like når de er matematisk like. For eksempel,
2 + 3 = 5 = 12 - 7 = 1 x 5 er alle ekvivalente; derfor er trærne deres likeverdige også.

Mange matematiske operasjoner er lettere å håndtere på denne måten. For eksempel betyr uttrykksforenkling å finne en kortere ekvivalent representasjon av et tre, sier Lample og Charton.

Disse trærne kan også skrives som sekvenser, og tar hver node fortløpende. I denne formen er de modne for behandling ved hjelp av en nevrale nettverkstilnærming kalt seq2seq.

Interessant nok brukes denne tilnærmingen ofte også for maskinoversettelse, der en sekvens av ord på ett språk må oversettes til en sekvens av ord på et annet språk. Lample og Charton sier faktisk at deres tilnærming i hovedsak behandler matematikk som et naturlig språk.

Neste trinn er opplæringsprosessen, og dette krever en enorm database med eksempler å lære av. Lample og Charton lager denne databasen ved å sette sammen matematiske uttrykk tilfeldig fra et bibliotek med binære operatorer som addisjon, multiplikasjon og så videre; unære operatorer som cos, sin og exp; og et sett med variabler, heltall og konstanter, slik som π og e. De begrenser også antall interne noder for å forhindre at ligningene blir for store.

Selv med relativt lite antall noder og matematiske komponenter, er antallet mulige uttrykk enormt. Hver tilfeldig ligning blir deretter integrert og differensiert ved hjelp av et datamaskinalgebrasystem. Ethvert uttrykk som ikke kan integreres, forkastes.

På denne måten genererer forskerne et massivt treningsdatasett bestående av for eksempel 80 millioner eksempler på første- og andreordens differensialligninger og 20 millioner eksempler på uttrykk integrert av deler.

Ved å knuse dette datasettet lærer det nevrale nettverket å beregne den deriverte eller integralet av et gitt matematisk uttrykk.

Til slutt satte Lample og Charton det nevrale nettverket deres gjennom tempoet ved å mate det 5000 uttrykk det aldri har sett før og sammenligne resultatene det produserer i 500 tilfeller med resultater fra kommersielt tilgjengelige løsere, som Maple, Matlab og Mathematica.

Disse løserne bruker en algoritmisk tilnærming utarbeidet på 1960-tallet av den amerikanske matematikeren Robert Risch. Imidlertid er Rischs algoritme enorm, og går til 100 sider for integrasjon alene. Så symbolsk algebra-programvare bruker ofte kuttede versjoner for å få fart på ting.

Sammenligningene mellom disse og nevrale nettverkstilnærmingen er avslørende. På alle oppgaver observerer vi at modellen vår overgår Mathematica betydelig, sier forskerne. På funksjonsintegrasjon oppnår modellen vår nær 100 % nøyaktighet, mens Mathematica knapt når 85 %. Og Maple- og Matlab-pakkene fungerer dårligere enn Mathematica i gjennomsnitt.

I mange tilfeller klarer ikke konvensjonelle løsere å finne en løsning i det hele tatt, gitt 30 sekunder på å prøve. Til sammenligning bruker nevrale nettet omtrent et sekund på å finne sine løsninger. Eksemplet øverst på denne siden er et av disse.

Et interessant resultat er at det nevrale nettverket ofte finner flere likeverdige løsninger på det samme problemet. Det er fordi matematiske uttrykk vanligvis kan skrives på mange forskjellige måter.

Denne evnen er noe av et fristende mysterium for forskerne. Modellens evne til å gjenopprette ekvivalente uttrykk, uten å ha blitt opplært til det, er veldig spennende, sier Lample og Charton.

Det er et betydelig gjennombrudd. Så vidt vi vet, har ingen studier undersøkt evnen til nevrale nettverk til å oppdage mønstre i matematiske uttrykk, sier paret.

Nå som de har det, har resultatet helt klart et stort potensial i den stadig viktigere og komplekse verden av beregningsmatematikk.

Forskerne avslører ikke Facebooks planer for denne tilnærmingen. Men det er ikke vanskelig å se hvordan den kan tilby sin egen symbolske algebratjeneste som overgår markedslederne.

Det er imidlertid lite sannsynlig at konkurrentene sitter stille. Forvent en mektig kamp i en verden av beregningsmatematikk.

Ref: arxiv.org/abs/1912.01412 : Dyplæring for symbolsk matematikk

gjemme seg