211service.com
Hvordan AI kan fortsette å akselerere etter Moores lov
Nye ideer innen brikkedesign ser ut til å gjøre programvaren smartere. 30. mai 2017
Andrea Chronopoulos
Google-sjef Sundar Pichai var åpenbart begeistret da han snakket med utviklere om et storslått resultat fra maskinlæringslaboratoriet hans tidligere denne måneden. Forskere hadde funnet ut hvordan man kan automatisere noe av arbeidet med å lage maskinlæringsprogramvare, noe som kan gjøre det mye enklere å implementere teknologien i nye situasjoner og bransjer.
Men prosjektet hadde allerede fått et rykte blant AI-forskere av en annen grunn: måten det illustrerte de enorme dataressursene som trengs for å konkurrere i forkant av maskinlæring.
En artikkel fra Googles forskere sier at de samtidig brukte så mange som 800 av de kraftige og dyre grafikkprosessorene som har vært avgjørende for den nylige økningen i kraften til maskinlæring (se 10 Breakthrough Technologies 2013: Deep Learning ). De fortalte MIT Technology Review at prosjektet hadde bundet opp hundrevis av brikkene i to uker, noe som gjorde teknikken for ressurskrevende til å være mer enn et forskningsprosjekt selv hos Google.
En koder uten enkel tilgang til en gigantisk samling av GPUer vil trenge dype lommer for å gjenskape eksperimentet. Å leie 800 GPUer fra Amazons cloud computing-tjeneste for bare en uke vil koste rundt 120 000 dollar til de oppgitte prisene.
Andrea Chronopoulos
Å mate data inn i dyplæringsprogramvare for å trene den til en bestemt oppgave er mye mer ressurskrevende enn å kjøre systemet etterpå, men det krever fortsatt betydelig energi. Datakraft er en flaskehals akkurat nå for maskinlæring, sier Reza Zadeh , en adjunkt ved Stanford University og grunnlegger og administrerende direktør av Matroid , en oppstart som hjelper selskaper å bruke programvare for å identifisere objekter som biler og mennesker i sikkerhetsopptak og annen video.
Den plutselige tørsten etter ny kraft for å drive AI kommer på et tidspunkt da dataindustrien tilpasser seg tapet av to ting den har stolt på i 50 år for å holde brikkene kraftigere. Den ene er Moores lov, som spådde at antallet transistorer som kunne monteres i et gitt område av en brikke ville dobles hvert annet år. Den andre er et fenomen som kalles Dennard-skalering, som beskriver hvordan mengden kraft transistorer bruker skalerer ned når de krymper.
Ingen av delene stemmer i dag. Intel har bremset tempoet de introduserer generasjoner av nye brikker med mindre, tettere transistorer (se Moores lov er død. Hva nå?). Og de vanlige effektivitetsgevinstene som transistorene viste etter hvert som de ble mindre stoppet opp på midten av 2000-tallet, noe som gjorde strømforbruket til en stor hodepine.
Den gode nyheten for de som satser på AI er at grafikksjetonger så langt har klart å trosse tyngdekraften. På den nylige konferansen for den ledende grafikkbrikkeprodusenten Nvidia viste administrerende direktør Jensen Huang et diagram som viser hvordan brikkenes ytelse har fortsatt å akselerere eksponentielt mens veksten i ytelsen til prosessorer for generell bruk, eller CPUer, har avtatt.
Doug Burger, en fremtredende ingeniør ved Microsofts NExT-divisjon som jobber med kommersialisering av ny teknologi, sier at et lignende gap åpner seg mellom konvensjonell og maskinlæringsprogramvare. Du begynner å se et [ytelse]-platå for generell programvare – den har sluttet å forbedre seg i historiske takter – men disse AI-tingene øker fortsatt raskt, sier han.
Burger tror den trenden vil fortsette. Ingeniører har holdt GPUer kraftigere fordi de kan være mer spesialiserte til den spesielle matematikken de trenger for å utføre for grafikk eller maskinlæring, sier han.
Den samme ideen ligger bak et prosjekt Burger ledet hos Microsoft, som legger mer kraft bak AI-programvare ved å bruke rekonfigurerbare brikker kalt FPGAer. Det motiverer også startups – og giganter som Google – til å lage nye brikker tilpasset for å drive maskinlæring (se Google avslører en kraftig ny AI-brikke og superdatamaskin).
På lengre sikt vil det kreves mer radikale endringer i hvordan databrikker fungerer for å holde AI kraftigere. Å lage sjetonger som ikke legger til nøyaktig er ett alternativ. Prototyper har vist at de kan gjøre datamaskiner mer effektive uten å undergrave nøyaktigheten til resultatene fra maskinlæringsprogramvare (se Hvorfor en brikke som er dårlig i matematikk kan hjelpe datamaskiner med å takle vanskeligere problemer).
Chipdesign som direkte kopierer fra biologi kan også være avgjørende. IBM og andre har bygget prototypebrikker som beregner ved hjelp av strømtopper, lik hvordan nevronene våre avfyrer (se Thinking in Silicon). Selv enkle dyr, påpeker Burger, bruker lite energi på å gjøre ting utover det dagens roboter og programvare kan oppnå – bevis på at datamaskiner har mye lenger å gå.
Se på regnestykket en kakerlakk gjør, sier han. Det er eksistensbevis som viser at mange flere størrelsesordener av ytelse og effektivitet er tilgjengelige. Vi kan ha flere tiår med skalering igjen i AI.