211service.com
Den neste AI-eksplosjonen vil bli definert av brikkene vi bygger for den
Jeremy Portje
Maskinvaredesign, snarere enn algoritmer, vil hjelpe oss med å oppnå det neste store gjennombruddet innen AI. Det er ifølge Bill Dally, Nvidias sjefforsker, som tok scenen tirsdag på EmTech Digital, MIT Technology Reviews AI-konferanse. Vår nåværende revolusjon innen dyp læring har blitt aktivert av maskinvare, sa han.
Som bevis pekte han på feltets historie: mange av algoritmene vi bruker i dag har eksistert siden 1980-tallet, og gjennombruddet med å bruke store mengder merkede data for å trene nevrale nettverk kom tidlig på 2000-tallet. Men det var ikke før tidlig på 2010-tallet – da grafikkbehandlingsenheter, eller GPUer, kom inn i bildet – at dyplæringsrevolusjonen virkelig tok av.
Vi må fortsette å tilby mer dyktig maskinvare, ellers vil fremgangen innen AI virkelig avta, sa Dally.
Nvidia utforsker nå tre hovedveier fremover: utvikle mer spesialiserte brikker; redusere beregningen som kreves under dyp læring; og eksperimentere med analog snarere enn digital brikkearkitektur.
Nvidia har funnet ut at høyspesialiserte brikker designet for en spesifikk beregningsoppgave kan utkonkurrere GPU-brikker som er gode til å håndtere mange forskjellige typer beregninger. Forskjellen, sa Dally, kan være så mye som 20 % økning i effektivitet for samme ytelsesnivå.
Dally refererte også til en studie som Nvidia gjorde for å teste potensialet til beskjæring - ideen om at du kan redusere antall beregninger som må utføres under trening, uten å ofre nøyaktigheten til en dyplæringsmodell. Forskere ved selskapet fant ut at de var i stand til å hoppe over rundt 90 % av disse beregningene mens de beholdt den samme læringsnøyaktigheten. Dette betyr at de samme læringsoppgavene kan finne sted ved å bruke mye mindre brikkearkitekturer.
Til slutt nevnte Dally at Nvidia nå eksperimenterer med analog beregning. Datamaskiner lagrer nesten all informasjon, inkludert tall, som en serie med 0 s eller en s. Men analog beregning ville tillate alle slags verdier - som 0,3 eller 0,7 - å bli kodet direkte. Det burde låse opp mye mer effektiv beregning, fordi tall kan representeres mer kortfattet, selv om Dally sa at teamet hans for øyeblikket ikke er sikre på hvordan analog vil passe inn i fremtiden for brikkedesign.
Naveen Rao, konserndirektør og daglig leder for AI Products Group hos Intel, tok også scenen og liknet viktigheten av AI-maskinvareevolusjonen med rollen som evolusjonen spilte i biologien. Rotter og mennesker, sa han, er divergerende i evolusjon med en tidsskala på noen hundre millioner år. Til tross for enormt forbedrede evner, har mennesker imidlertid de samme grunnleggende dataenhetene som sine gnagere.
Det samme prinsippet gjelder når det gjelder brikkedesign, sa Rao. Enhver brikke – enten spesialisert eller fleksibel, digital eller analog, optisk eller på annen måte – er ganske enkelt et underlag for koding og manipulering av informasjon. Men avhengig av hvordan substratet er utformet, kan det være forskjellen mellom evnene til en rotte og et menneske.
Insekter, som rotter, sa han, er også bygget med de samme grunnleggende enhetene som mennesker. Men insekter har faste arkitekturer, mens mennesker har mer fleksible. Ingen av dem, hevdet han, er den andre overlegen, men de har tydelig utviklet seg for å passe til forskjellige formål. Insekter kan sannsynligvis overleve en atomkrig, mens mennesker har mye mer sofistikerte evner.
Igjen, disse prinsippene kan brukes på brikkedesign. Ettersom vi bringer flere smarte enheter på nettet, vil det ikke alltid være fornuftig å sende dataene deres til skyen for å bli behandlet gjennom en dyplæringsmodell. I stedet kan det være fornuftig å kjøre en liten, effektiv dyplæringsmodell på selve enheten. Denne ideen, kjent som AI på kanten, kan dra nytte av spesialiserte, faste brikkearkitekturer som er mer effektive. Datasentre som driver AI på skyen, derimot, vil kjøre på fullt fleksible og programmerbare brikkearkitekturer, for å håndtere et mye bredere spekter av læringsoppgaver.
Rao bemerket at uansett hvilken brikkedesign Intel og Nvidia bestemmer seg for, vil effekten på utviklingen av AI være betydelig. Gjennom historien har individuelle sivilisasjoner utviklet seg på svært forskjellige måter på grunn av de unike materialene de har til rådighet. På samme måte vil operasjonene som Intel og Nvidia gjør enklere gjennom forskjellige brikkedesigner i stor grad påvirke hva slags læringsoppgaver AI-fellesskapet vil forfølge.
Vi er i denne raske prekambriske eksplosjonen [for brikkearkitekturer] akkurat nå, sa Rao, og ikke alle løsninger kommer til å vinne.