AI-pioner Geoff Hinton: Dyplæring kommer til å kunne gjøre alt

Geoffrey Hinton

Noah Berger/AP





  • Om AI-feltets hull: 'Det kommer til å være ganske mange konseptuelle gjennombrudd ... vi trenger også en massiv skalaøkning.'
  • Om nevrale nettverks svakheter: 'Nevrale nett er overraskende gode til å håndtere en ganske liten mengde data, med et stort antall parametere, men folk er enda bedre.'
  • Om hvordan hjernen vår fungerer: 'Det som er inne i hjernen er disse store vektorene for nevral aktivitet.'

Den moderne AI-revolusjonen begynte under en obskur forskningskonkurranse. Det var 2012, det tredje året av den årlige ImageNet-konkurransen, som utfordret teamene til å bygge datasynssystemer som kunne gjenkjenne 1000 objekter, fra dyr til landskap til mennesker.

I løpet av de to første årene hadde de beste lagene ikke klart å nå 75 % nøyaktighet. Men i den tredje blåste plutselig en gruppe på tre forskere – en professor og hans studenter – forbi dette taket. De vant konkurransen med svimlende 10,8 prosentpoeng. Den professoren var Geoffrey Hinton, og teknikken de brukte ble kalt dyp læring.

Hinton hadde faktisk jobbet med dyp læring siden 1980-tallet, men effektiviteten hadde vært begrenset av mangel på data og beregningskraft. Hans standhaftige tro på teknikken ga til slutt enorme utbytter. Det fjerde året av ImageNet-konkurransen brukte nesten alle lag dyp læring og oppnådde mirakuløse nøyaktighetsgevinster. Snart nok ble dyp læring brukt på oppgaver utenfor bildegjenkjenning, og også innenfor et bredt spekter av bransjer.



I fjor, for sine grunnleggende bidrag til feltet, ble Hinton tildelt Turing Award, sammen med andre AI-pionerer Yann LeCun og Yoshua Bengio. Den 20. oktober snakket jeg med ham på MIT Technology Reviews årlige EmTech MIT-konferanse om tilstanden på feltet og hvor han mener det bør være på vei videre.

Følgende har blitt redigert og komprimert for klarhet.

Du tror dyp læring vil være nok til å gjenskape all menneskelig intelligens. Hva gjør deg så sikker?

Jeg tror at dyp læring vil være i stand til å gjøre alt, men jeg tror det må være ganske mange konseptuelle gjennombrudd. For eksempel i 2017 Ashish Vaswani et al . introdusert transformatorer , som utleder virkelig gode vektorer som representerer ordbetydninger. Det var et konseptuelt gjennombrudd. Den brukes nå i nesten all den beste behandlingen av naturlig språk. Vi kommer til å trenge flere slike gjennombrudd.



Og hvis vi har disse gjennombruddene, vil vi være i stand til å tilnærme all menneskelig intelligens gjennom dyp læring?

Ja. Spesielt gjennombrudd å gjøre med hvordan du får store vektorer av nevral aktivitet for å implementere ting som fornuft. Men vi trenger også en massiv skalaøkning. Den menneskelige hjernen har rundt 100 billioner parametere, eller synapser. Det vi nå kaller en virkelig stor modell, som GPT-3 , har 175 milliarder. Den er tusen ganger mindre enn hjernen. GPT-3 kan nå generere tekst som ser ganske plausibel ut, og den er fortsatt liten sammenlignet med hjernen.

Når du sier skala, mener du større nevrale nettverk, mer data eller begge deler?

Både. Det er en slags uoverensstemmelse mellom hva som skjer i informatikk og hva som skjer med mennesker. Folk har en enorm mengde parametere sammenlignet med mengden data de får. Nevrale nett er overraskende gode til å håndtere en ganske liten mengde data, med et stort antall parametere, men folk er enda bedre.

Mange av folkene i feltet tror at sunn fornuft er den neste store evnen å takle. Er du enig?

Jeg er enig i at det er en av de veldig viktige tingene. Jeg tror også motorisk kontroll er veldig viktig, og dype nevrale nett blir nå gode på det. Spesielt noe nylig arbeid hos Google har vist at du kan gjøre finmotorisk kontroll og kombinere det med språk, slik at du kan åpne en skuff og ta ut en blokk, og systemet kan fortelle deg på naturlig språk hva det gjør.



For ting som GPT-3, som genererer denne fantastiske teksten, er det klart at den må forstå mye for å generere den teksten, men det er ikke helt klart hvor mye den forstår. Men hvis noe åpner skuffen og tar ut en blokk og sier at jeg nettopp åpnet en skuff og tok ut en blokk, er det vanskelig å si at den ikke forstår hva den gjør.

AI-feltet har alltid sett på den menneskelige hjernen som sin største inspirasjonskilde, og forskjellige tilnærminger til AI har stammet fra forskjellige teorier innen kognitiv vitenskap. Tror du at hjernen faktisk bygger representasjoner av den ytre verden for å forstå den, eller er det bare en nyttig måte å tenke på det?

For lenge siden i kognitiv vitenskap var det en debatt mellom to tankeretninger. Den ene ble ledet av Stephen Kosslyn, og han mente at når du manipulerer visuelle bilder i tankene dine, er det du har en rekke piksler og du flytter dem rundt. Den andre tankegangen var mer i tråd med konvensjonell AI. Den sa: Nei, nei, det er tull. Det er hierarkiske, strukturelle beskrivelser. Du har en symbolsk struktur i tankene dine, og det er hva du manipulerer.

Jeg tror begge gjorde samme feil. Kosslyn trodde vi manipulerte piksler fordi eksterne bilder er laget av piksler, og det er en representasjon vi forstår. Symbolet folk trodde vi manipulerte symboler fordi vi også representerer ting i symboler, og det er en representasjon vi forstår. Jeg synes det er like feil. Det som er inne i hjernen er disse store vektorene for nevral aktivitet.



Det er noen mennesker som fortsatt tror at symbolsk representasjon er en av tilnærmingene for AI.

Absolutt. Jeg har gode venner som Hector Levesque, som virkelig tror på den symbolske tilnærmingen og har gjort et godt arbeid med det. Jeg er uenig med ham, men den symbolske tilnærmingen er en helt rimelig ting å prøve. Men min gjetning er at til slutt vil vi innse at symboler bare eksisterer der ute i den ytre verden, og vi utfører interne operasjoner på store vektorer.

Hva tror du er ditt mest motsatte syn på fremtiden til AI?

Vel, problemet mitt er at jeg har disse motstridende synspunktene, og fem år senere er de mainstream. De fleste av mine motstridende synspunkter fra 1980-tallet er nå på en måte bredt akseptert. Det er ganske vanskelig nå å finne folk som er uenige med dem. Så ja, jeg har blitt på en måte undergravd i mine motstridende synspunkter.

gjemme seg