211service.com
Å trene en enkelt AI-modell kan slippe ut så mye karbon som fem biler i løpet av livet
Et datasenter Dean Mouhtaropoulos | Getty; redigert av MIT Technology Review
Industrien med kunstig intelligens sammenlignes ofte med oljeindustrien: når de først er utvunnet og raffinert, kan data, som olje, være en svært lukrativ vare. Nå ser det ut til at metaforen kan strekke seg enda lenger. Som sin motpart med fossilt brensel, har prosessen med dyp læring en stor miljøpåvirkning.
I en nytt papir , utførte forskere ved University of Massachusetts, Amherst en livssyklusvurdering for å trene flere vanlige store AI-modeller. De fant at prosessen kan avgi mer enn 626 000 pund karbondioksidekvivalenter - nesten fem ganger levetidsutslippene til en gjennomsnittlig amerikanske bil (og det inkluderer produksjon av selve bilen).
Det er en skurrende kvantifisering av noe AI-forskere har mistenkt i lang tid. Selv om sannsynligvis mange av oss har tenkt på dette på et abstrakt, vagt nivå, viser tallene virkelig omfanget av problemet, sier Carlos Gómez-Rodríguez, en informatiker ved University of A Coruña i Spania, som ikke var involvert i undersøkelser. Verken jeg eller andre forskere jeg har diskutert dem med trodde miljøpåvirkningen var så betydelig.
Karbonfotavtrykket til naturlig språkbehandling
Artikkelen undersøker spesifikt modelltreningsprosessen for naturlig språkbehandling (NLP), underfeltet til AI som fokuserer på å lære maskiner å håndtere menneskelig språk. I løpet av de siste to årene har NLP-fellesskapet nådd flere bemerkelsesverdige ytelsesmilepæler innen maskinoversettelse, setningsfullføring og andre standard benchmarkingoppgaver. OpenAIs beryktede GPT-2-modell, som et eksempel, utmerket seg ved å skrive overbevisende falske nyhetsartikler.
Men slike fremskritt har krevd opplæring av stadig større modeller på vidstrakte datasett med setninger skrapet fra internett. Tilnærmingen er beregningsmessig dyr – og svært energikrevende.
Forskerne så på fire modeller i feltet som har vært ansvarlige for de største sprangene i ytelse: Transformer, ELMo, BERT og GPT-2. De trente hver på én enkelt GPU i opptil en dag for å måle strømforbruket. De brukte deretter antall treningstimer som er oppført i modellens originalpapirer for å beregne det totale energiforbruket over hele treningsprosessen. Dette tallet ble konvertert til pund karbondioksidekvivalenter basert på den gjennomsnittlige energimiksen i USA, som samsvarer nøye med energimiksen som brukes av Amazons AWS, den største leverandøren av skytjenester.
De fant ut at de beregningsmessige og miljømessige kostnadene ved trening vokste proporsjonalt med modellstørrelsen og deretter eksploderte når ytterligere innstillingstrinn ble brukt for å øke modellens endelige nøyaktighet. Spesielt fant de ut at en innstillingsprosess kjent som nevral arkitektursøk, som prøver å optimalisere en modell ved gradvis å justere et nevralt nettverks design gjennom uttømmende prøving og feiling, hadde ekstraordinært høye tilknyttede kostnader for liten ytelsesfordel. Uten den hadde den mest kostbare modellen, BERT, et karbonavtrykk på omtrent 1400 pund karbondioksidekvivalenter, nær en tur-retur-trans-Amerika-flyvning for én person.
Dessuten bemerker forskerne at tallene kun bør betraktes som grunnlinjer. Å trene en enkelt modell er den minste mengden arbeid du kan gjøre, sier Emma Strubell, en doktorgradskandidat ved University of Massachusetts, Amherst, og hovedforfatteren av artikkelen. I praksis er det mye mer sannsynlig at AI-forskere vil utvikle en ny modell fra bunnen av eller tilpasse en eksisterende modell til et nytt datasett, som begge kan kreve mange flere runder med trening og tuning.
For å få bedre grep om hvordan hele utviklingsrørledningen kan se ut når det gjelder karbonavtrykk, brukte Strubell og hennes kolleger en modell de hadde produsert i en forrige papir som en casestudie. De fant ut at prosessen med å bygge og teste en endelig papirverdig modell krevde opplæring av 4789 modeller over en periode på seks måneder. Omregnet til CO2-ekvivalent, slapp den ut mer enn 78 000 pund og er sannsynligvis representativ for typisk arbeid i feltet.
Betydningen av disse tallene er kolossal - spesielt når man vurderer de nåværende trendene innen AI-forskning. Generelt neglisjerer mye av den nyeste forskningen innen AI effektivitet, ettersom svært store nevrale nettverk har vist seg å være nyttige for en rekke oppgaver, og selskaper og institusjoner som har rikelig tilgang til beregningsressurser kan utnytte dette for å oppnå et konkurransefortrinn, sier Gómez-Rodríguez. Denne typen analyse måtte gjøres for å øke bevisstheten om ressursene som brukes [...] og vil vekke en debatt.
Det som sannsynligvis mange av oss ikke forsto er omfanget av det før vi så disse sammenligningene, gjentok Siva Reddy, en postdoktor ved Stanford University som ikke var involvert i forskningen.
Privatiseringen av AI-forskning
Resultatene understreker også et annet økende problem innen kunstig intelligens: den store intensiteten av ressurser som nå kreves for å produsere papirverdige resultater, har gjort det stadig mer utfordrende for folk som jobber i akademia å fortsette å bidra til forskning.
Denne trenden mot å trene enorme modeller på tonnevis av data er ikke mulig for akademikere – spesielt studenter fordi vi ikke har beregningsressursene, sier Strubell. Så det er et spørsmål om rettferdig tilgang mellom forskere i akademia versus forskere i industrien.
Strubell og hennes medforfattere håper at kollegene deres vil følge avisens funn og bidra til å utjevne konkurransevilkårene ved å investere i å utvikle mer effektiv maskinvare og algoritmer.
Reddy er enig. Menneskehjerner kan gjøre fantastiske ting med lite strømforbruk, sier han. Det større spørsmålet er hvordan vi kan bygge slike maskiner.