AI har knekt et viktig matematisk puslespill for å forstå vår verden

matematisk generert landskap

Ms Tech | Science Photo Library via AP





Med mindre du er fysiker eller ingeniør, er det egentlig ikke mye grunn for deg å vite om partielle differensialligninger. Jeg vet. Etter flere år med å studere dem i undergraden mens jeg studerte maskinteknikk, har jeg aldri brukt dem siden i den virkelige verden.

Men partielle differensialligninger, eller PDE-er, er også litt magiske. De er en kategori av matematiske ligninger som er veldig gode til å beskrive endringer over rom og tid, og dermed veldig nyttige for å beskrive de fysiske fenomenene i universet vårt. De kan brukes til å modellere alt fra planetbaner til platetektonikk til luftturbulensen som forstyrrer en flytur, som igjen lar oss gjøre praktiske ting som å forutsi seismisk aktivitet og designe sikre fly.

Fangsten er at PDE-er er notorisk vanskelige å løse. Og her er betydningen av løse kanskje best illustrert med et eksempel. La oss si at du prøver å simulere luftturbulens for å teste et nytt flydesign. Det er en kjent PDE kalt Navier-Stokes som brukes til å beskrive bevegelsen til enhver væske. Å løse Navier-Stokes lar deg ta et øyeblikksbilde av luftens bevegelse (a.k.a. vindforhold) til enhver tid og modellere hvordan den vil fortsette å bevege seg, eller hvordan den beveget seg før.



Disse beregningene er svært komplekse og beregningsintensive, og det er grunnen til at disipliner som bruker mange PDE-er ofte er avhengige av superdatamaskiner for å regne ut. Det er også grunnen til at AI-feltet har interessert seg spesielt for disse ligningene. Hvis vi kunne bruke dyp læring for å fremskynde prosessen med å løse dem, kan det gjøre mye godt for vitenskapelige undersøkelser og ingeniørvitenskap.

Nå har forskere ved Caltech introdusert en ny dyplæringsteknikk for å løse PDE-er som er dramatisk mer nøyaktig enn dyplæringsmetoder utviklet tidligere. Den er også mye mer generaliserbar, i stand til å løse hele familier av PDE-er – slik som Navier-Stokes-ligningen for alle typer væske – uten å trenge omskolering. Til slutt er den 1000 ganger raskere enn tradisjonelle matematiske formler, noe som vil lette vår avhengighet av superdatamaskiner og øke vår beregningskapasitet til å modellere enda større problemer. Det er riktig. Kom med det.

Hammer tid

Før vi dykker inn i hvordan forskerne gjorde dette, la oss først sette pris på resultatene. I gif-en nedenfor kan du se en imponerende demonstrasjon. Den første kolonnen viser to øyeblikksbilder av en væskes bevegelse; den andre viser hvordan væsken fortsatte å bevege seg i det virkelige liv; og den tredje viser hvordan det nevrale nettverket spådde at væsken ville bevege seg. Den ser i utgangspunktet identisk ut med den andre.



Papiret har fått mye buzz på Twitter, Til og med et rop fra rapperen MC Hammer . Ja virkelig.

Ok, tilbake til hvordan de gjorde det.



Når funksjonen passer

Den første tingen å forstå her er at nevrale nettverk er grunnleggende funksjonstilnærmere. (Si hva?) Når de trener på et datasett med sammenkoblede innganger og utganger, beregner de faktisk funksjonen, eller rekken av matematiske operasjoner, som vil transponere den ene til den andre. Tenk på å bygge en kattedetektor. Du trener det nevrale nettverket ved å mate det med mange bilder av katter og ting som ikke er katter (inngangene) og merke hver gruppe med henholdsvis 1 eller 0 (utgangene). Det nevrale nettverket ser deretter etter den beste funksjonen som kan konvertere hvert bilde av en katt til en 1 og hvert bilde av alt annet til en 0. Det er slik det kan se på et nytt bilde og fortelle deg om det er en katt eller ikke. Den bruker funksjonen den fant for å beregne svaret - og hvis treningen var god, vil den få det riktig mesteparten av tiden.

Beleilig er denne funksjonstilnærmingsprosessen det vi trenger for å løse en PDE. Vi prøver til slutt å finne en funksjon som best beskriver, for eksempel, bevegelsen til luftpartikler over fysisk rom og tid.

Her er kjernen i papiret. Nevrale nettverk er vanligvis trent til å tilnærme funksjoner mellom innganger og utganger definert i det euklidiske rom, din klassiske graf med x-, y- og z-akser. Men denne gangen bestemte forskerne seg for å definere inngangene og utgangene i Fourier-rommet, som er en spesiell type graf for plotting av bølgefrekvenser. Intuisjonen de hentet fra arbeid på andre felt er at noe sånt som luftens bevegelse faktisk kan beskrives som en kombinasjon av bølgefrekvenser, sier Anima Anandkumar, en Caltech-professor som hadde tilsyn med forskningen sammen med sine kolleger, professorene Andrew Stuart og Kaushik Bhattacharya. Den generelle vindretningen på makronivå er som en lav frekvens med veldig lange, sløve bølger, mens de små virvlene som dannes på mikronivå er som høye frekvenser med veldig korte og raske.



Hvorfor betyr dette noe? Fordi det er mye lettere å tilnærme en Fourier-funksjon i Fourier-rommet enn å krangle med PDE-er i det euklidiske rommet, noe som i stor grad forenkler nevrale nettverks jobb. Se store nøyaktighets- og effektivitetsgevinster: i tillegg til den enorme hastighetsfordelen i forhold til tradisjonelle metoder, oppnår teknikken deres en 30 % lavere feilrate ved løsning av Navier-Stokes enn tidligere dyplæringsmetoder.

Det hele er ekstremt smart, og gjør også metoden mer generaliserbar. Tidligere dyplæringsmetoder måtte trenes separat for hver type væske, mens denne bare trenger å trenes én gang for å håndtere dem alle, som bekreftet av forskernes eksperimenter. Selv om de ennå ikke har prøvd å utvide dette til andre eksempler, bør det også være i stand til å håndtere enhver jordsammensetning når man løser PDE-er relatert til seismisk aktivitet, eller hver materialtype når man løser PDE-er relatert til termisk ledningsevne.

Super-simulering

Professorene og doktorgradsstudentene deres gjorde ikke denne forskningen bare for den teoretiske moroa. De ønsker å bringe AI til flere vitenskapelige disipliner. Det var gjennom å snakke med ulike samarbeidspartnere innen klimavitenskap, seismologi og materialvitenskap at Anandkumar først bestemte seg for å takle PDE-utfordringen med sine kolleger og studenter. De jobber nå med å sette metoden sin ut i livet sammen med andre forskere ved Caltech og Lawrence Berkeley National Laboratory.

Et forskningstema Anandkumar er spesielt begeistret for: klimaendringer. Navier-Stokes er ikke bare god til å modellere luftturbulens; den brukes også til å modellere værmønstre. Å ha gode, finkornede værmeldinger på global skala er et så utfordrende problem, sier hun, og selv på de største superdatamaskinene kan vi ikke gjøre det på global skala i dag. Så hvis vi kan bruke disse metodene for å øke hastigheten på hele rørledningen, vil det ha en enorm effekt.

Det er også mange, mange flere søknader, legger hun til. Sånn sett er himmelen grensen, siden vi har en generell måte å øke hastigheten på alle disse applikasjonene på.

gjemme seg