211service.com
Datakraften som trengs for å trene AI øker nå syv ganger raskere enn noen gang før
Go-spiller Ke Jie spiller en kamp mot Googles kunstige intelligens-program, AlphaGo AP
I 2018 fant OpenAI at mengden regnekraft som ble brukt til å trene de største AI-modellene hadde doblet seg hver 3,4 måned siden 2012.
Det San Francisco-baserte for-profit AI-forskningslaboratoriet har nå lagt til nye data til sin analyse. Dette viser hvordan doblingen etter 2012 er sammenlignet med den historiske doblingstiden siden starten av feltet. Fra 1959 til 2012 doblet mengden strøm som ble brukt hvert annet år, og fulgte Moores lov. Dette betyr at ressursene som brukes i dag dobles med en hastighet syv ganger raskere enn før.
OpenAI
Denne dramatiske økningen i ressursene som trengs, understreker hvor kostbare feltets prestasjoner har blitt. Husk at grafen ovenfor viser en logaritmisk skala. På en lineær skala (nedenfor) kan du tydeligere se hvordan databruken har økt med 300 000 ganger de siste syv årene.
Diagrammet inkluderer heller ikke noen av de siste gjennombruddene, inkludert Googles storskala språkmodell BERT , OpenAIs språkmodell GPT-2 , eller DeepMinds StarCraft II-spillende modell AlphaStar .
OpenAI
Det siste året har flere og flere forskere slått alarm om de eksploderende kostnadene ved dyp læring. I juni viste en analyse fra forskere ved University of Massachusetts, Amherst, hvordan disse økende beregningskostnadene direkte oversettes til karbonutslipp.
I papiret deres bemerket de også hvordan trenden forverrer privatiseringen av AI-forskning fordi den undergraver muligheten for akademiske laboratorier til å konkurrere med mye mer ressursrike private.
Som svar på denne økende bekymringen har flere bransjegrupper kommet med anbefalinger. Allen Institute for Artificial Intelligence, et non-profit forskningsfirma i Seattle, har foreslått at forskere alltid publiserer de økonomiske og beregningsmessige kostnadene ved å trene modellene deres sammen med ytelsesresultatene, for eksempel.
I sin egen blogg foreslo OpenAI beslutningstakere å øke finansieringen til akademiske forskere for å bygge bro over ressursgapet mellom akademiske og industrilaboratorier.
Korreksjon: En tidligere versjon av denne artikkelen sa feilaktig at doblingstiden i dag er mer enn syv ganger så høy som før. Ressursene som brukes dobles syv ganger raskere, og selve doblingstiden er en syvendedel forrige gang.