Små AI-modeller kan overlade autokorrektur og taleassistenter på telefonen din

Kategori: Kunstig intelligens Lagt ut 04 okt

Forskere har lykkes med å krympe en gigantisk språkmodell for bruk i kommersielle applikasjoner.

Hvem teller? Det siste året har naturlige språkmodeller blitt dramatisk bedre på bekostning av å bli dramatisk større. I oktober i fjor var f.eks. Google lanserte en modell kalt BERT som bestod en langvarig referanse for leseforståelse på feltet. Den større versjonen av modellen hadde 340 millioner dataparametere, og trening den bare én gang gjennom kostet nok strøm til å drive en amerikansk husholdning i 50 dager.

Fire måneder senere toppet OpenAI det raskt med sin modell GPT-2 . Modellen viste en imponerende evne til å konstruere overbevisende prosa; den brukte også 1,5 milliarder parametere. Nå har MegatronLM, den nyeste og største modellen fra Nvidia 8,3 milliarder parametere . (Ja, ting går ut av hånden.)

Den store, den dårlige, den stygge: AI-forskere har blitt stadig mer bekymret for konsekvensene av denne trenden. I juni viste en gruppe ved University of Massachusetts, Amherst, klimabelastningen ved å utvikle og trene modeller i så stor skala. Trening av BERT, beregnet de, slapp ut nesten like mye karbon som en tur-retur-flyvning mellom New York og San Francisco; GPT-2 og MegatronLM, ved ekstrapolering, vil sannsynligvis avgi mye mer.

Trenden kan også akselerere konsentrasjonen av AI-forskning i hendene på noen få teknologigiganter. Laboratorier med lite ressurser i akademia eller land med færre ressurser har rett og slett ikke midler til å bruke eller utvikle slike beregningsmessig dyre modeller.

Kjære, jeg krympet AI: Som svar er mange forskere fokusert på krymper størrelsen av eksisterende modeller uten å miste sine evner. Nå har to nye papirer, utgitt innen en dag etter hverandre, gjort det med den mindre versjonen av BERT, med 100 millioner parametere.

De første papir, fra forskere ved Huawei, produserer en modell kalt TinyBERT som er mindre enn en syvendedel av størrelsen på originalen og nesten 10 ganger raskere. Den fungerer også nesten like bra i språkforståelse som originalen. De sekund, fra forskere ved Google, produserer en annen som er mindre med en faktor på mer enn 60, men språkforståelsen er litt dårligere enn Huawei-versjonen.

Slik gjorde de det: Begge papirene bruker varianter av en vanlig kompresjonsteknikk kjent som kunnskapsdestillasjon. Det innebærer å bruke den store AI-modellen som du ønsker å krympe (læreren) for å trene en mye mindre modell (eleven) i bildet. For å gjøre det, mater du de samme inngangene inn i begge og justerer deretter eleven til utgangene samsvarer med lærerens.

Utenfor laboratoriet: I tillegg til å forbedre tilgangen til toppmoderne AI, vil bittesmå modeller bidra til å bringe de siste AI-fremskritt til forbrukerenheter. De slipper å sende forbrukerdata til skyen, noe som forbedrer både hastighet og personvern. Spesifikt for naturlige språkmodeller kan kraftigere tekstprediksjon og språkgenerering forbedre utallige applikasjoner som autofullføring på telefonen og taleassistenter som Alexa og Google Assistant.

For å få flere historier som dette levert direkte til innboksen din, meld deg på vårt Webby-nominerte AI-nyhetsbrev The Algorithm. Det er gratis.