Oppstarten gjør dyp læring mulig uten spesialisert maskinvare

Nevral magi

Oppdagelsen som førte til at Nir Shavit startet et selskap, kom på samme måte som de fleste funn gjør: ved et uhell. MIT-professoren jobbet med et prosjekt for å rekonstruere et kart over en muses hjerne og trengte litt hjelp fra dyp læring. Uten å vite hvordan han skulle programmere grafikkort, eller GPUer, det vanligste maskinvarevalget for dyplæringsmodeller, valgte han i stedet for en sentral prosessorenhet, eller CPU, den mest generiske databrikken som finnes i en vanlig bærbar datamaskin.

Se og se, husker Shavit, jeg innså at en CPU kan gjøre det en GPU gjør – hvis den er programmert på riktig måte.

Denne innsikten er nå grunnlaget for oppstarten hans, Neural Magic, som lanserte sin første serie med produkter i dag. Tanken er å la ethvert selskap distribuere en dyplæringsmodell uten behov for spesialisert maskinvare. Det vil ikke bare redusere kostnadene ved dyp læring, men også gjøre AI mer tilgjengelig.

Dette vil bety at du kan bruke nevrale nettverk på mange flere maskiner og mange flere eksisterende maskiner, sier Neil Thompson, en forsker ved MITs Computer Science and Artificial Intelligence Laboratory, som ikke er involvert i Neural Magic. Du trenger ikke å oppgradere til noe spesielt.

GPUer ble den foretrukne maskinvaren for dyp læring stort sett ved en tilfeldighet. Brikkene ble opprinnelig designet for raskt å gjengi grafikk i applikasjoner som videospill. I motsetning til CPU-er, som har fire til åtte komplekse kjerner for å utføre en rekke beregninger, har GPU-er hundrevis av enkle kjerner som bare kan utføre spesifikke operasjoner - men kjernene kan takle operasjonene sine samtidig i stedet for en etter en, noe som reduserer tiden det tar å fullføre en intensiv beregning.

Det tok ikke lang tid før AI-forskningsmiljøet innså at denne massive parallelliseringen også gjør GPU-er gode for dyp læring. I likhet med grafisk gjengivelse involverer dyp læring enkle matematiske beregninger utført hundretusenvis av ganger. I 2011, i et samarbeid med brikkeprodusenten Nvidia, Google funnet at en datasynsmodell den hadde trent på 2000 CPUer for å skille katter fra mennesker kunne oppnå samme ytelse når den ble trent på bare 12 GPUer. GPUer ble de facto-brikken for modelltrening og inferencing – beregningsprosessen som skjer når en trent modell brukes til oppgavene den ble trent for.

Men GPUer er heller ikke perfekte for dyp læring. For det første kan de ikke fungere som en frittstående brikke. Fordi de er begrenset i hvilke typer operasjoner de kan utføre, må de kobles til CPUer for å håndtere alt annet. GPUer har også en begrenset mengde cache-minne, datalagringsområdet nærmest en brikkes prosessorer. Dette betyr at hoveddelen av dataene lagres off-chip og må hentes når det er tid for behandling. Dataflyten frem og tilbake ender opp med å bli en flaskehals for beregning, som begrenser hastigheten som GPU-er kan kjøre dyplæringsalgoritmer med.

Neural Magic sitt kontor.

NEURAL MAGI

I de senere år, dusinvis av selskaper har dukket opp for å designe AI-brikker som omgår disse problemene. Problemet er at jo mer spesialisert maskinvaren er, jo dyrere blir den.

Så Neural Magic har til hensikt å motvirke denne trenden. I stedet for å fikle med maskinvaren, modifiserte selskapet programvaren. Den redesignet dyplæringsalgoritmer for å kjøre mer effektivt på en CPU ved å bruke brikkenes store tilgjengelige minne og komplekse kjerner. Mens tilnærmingen mister hastigheten oppnådd gjennom en GPUs parallellisering, vinner den etter sigende omtrent like lang tid ved å eliminere behovet for å ferge data på og av brikken. Algoritmene kan kjøre på CPUer med GPU-hastigheter, sier selskapet - men til en brøkdel av prisen. Det høres ut som det de har gjort er å finne ut en måte å dra nytte av minnet til CPU-en på en måte som folk ikke har gjort før, sier Thompson.

Neural Magic mener det kan være noen få grunner til at ingen tok denne tilnærmingen tidligere. For det første er det kontraintuitivt. Ideen om at dyp læring trenger spesialisert maskinvare er så forankret at andre tilnærminger lett kan overses. For det andre er bruk av kunstig intelligens i industrien fortsatt relativt nytt, og selskaper har akkurat begynt å se etter enklere måter å distribuere dyplæringsalgoritmer på. Men om kravet er dypt nok til at Neural Magic kan ta av er fortsatt uklart. Firmaet har betatestet produktet sitt med rundt 10 selskaper - bare en del av den bredere AI-industrien.

Vi ønsker å forbedre ikke bare nevrale nettverk, men også databehandling generelt.

Neil Thompson

Neural Magic tilbyr for tiden sin teknikk for å slutte oppgaver innen datasyn. Klienter må fortsatt trene modellene sine på spesialisert maskinvare, men kan deretter bruke Neural Magics programvare for å konvertere den trente modellen til et CPU-kompatibelt format. En klient, en stor produsent av mikroskopiutstyr, prøver nå denne tilnærmingen for å legge til AI-funksjoner på enheten til mikroskopene sine, sier Shavit. Fordi mikroskopene allerede kommer med en CPU, trenger de ikke ekstra maskinvare. Derimot vil bruk av en GPU-basert dyplæringsmodell kreve at utstyret er større og mer strømkrevende.

En annen klient ønsker å bruke Neural Magic til å behandle opptak fra sikkerhetskameraer. Det vil gjøre det mulig for den å overvåke trafikken inn og ut av en bygning ved hjelp av datamaskiner som allerede er tilgjengelige på stedet; ellers må den kanskje sende opptakene til skyen, noe som kan introdusere personvernproblemer, eller skaffe spesialmaskinvare for hver bygning den overvåker.

Shavit sier at slutninger også bare er begynnelsen. Neural Magic planlegger å utvide sine tilbud i fremtiden for å hjelpe selskaper tog deres AI-modeller på CPUer også. Vi tror om 10 til 20 år fra nå vil CPUer være selve stoffet for å kjøre maskinlæringsalgoritmer, sier han.

Thompson er ikke så sikker. Økonomien har virkelig endret seg rundt flisproduksjon, og det kommer til å føre til mye mer spesialisering, sier han. I tillegg, mens Neural Magics teknikk får mer ytelse ut av eksisterende maskinvare, vil grunnleggende maskinvarefremskritt fortsatt være den eneste måten å fortsette å drive databehandling fremover. Dette høres ut som en veldig god måte å forbedre ytelsen i nevrale nettverk, sier han. Men vi ønsker å forbedre ikke bare nevrale nettverk, men også databehandling generelt.

gjemme seg