Geoffrey Hinton har en anelse om hva som er det neste for AI

Kiel Mutschelknaus

Tilbake i november hadde informatikeren og kognitiv psykolog Geoffrey Hinton en anelse. Etter et halvt århundres forsøk – noen svært vellykkede – hadde han kommet til en annen lovende innsikt i hvordan hjernen fungerer og hvordan man kan replikere dens kretsløp i en datamaskin.

Det er mitt beste bud på hvordan ting passer sammen, sier Hinton fra hjemmekontoret sitt i Toronto, hvor han har blitt sekvestrert under pandemien. Hvis innsatsen hans lønner seg, kan det utløse neste generasjon av kunstige nevrale nettverk – matematiske datasystemer, løst inspirert av hjernens nevroner og synapser, som er kjernen i dagens kunstige intelligens. Hans ærlige motivasjon, som han sier det, er nysgjerrighet. Men den praktiske motivasjonen – og ideelt sett konsekvensen – er mer pålitelig og mer pålitelig AI.

En ingeniørstipendiat fra Google og medgründer av Vector Institute for Artificial Intelligence, Hinton skrev opp sin anelse om anfall og start, og i slutten av februar annonsert via Twitter at han hadde lagt ut en 44-siders papir på arXiv forhåndstrykkserver. Han begynte med en ansvarsfraskrivelse: Dette papiret beskriver ikke et fungerende system, skrev han. Snarere presenterer det et tenkt system. Han kalte den GLOM. Begrepet stammer fra agglomerat og uttrykket glom sammen.

Hinton tenker på GLOM som en måte å modellere menneskelig persepsjon i en maskin – det tilbyr en ny måte å behandle og representere visuell informasjon i et nevralt nettverk. På et teknisk nivå involverer guts av det en glomming sammen av lignende vektorer. Vektorer er grunnleggende for nevrale nettverk - en vektor er en rekke tall som koder for informasjon. Det enkleste eksemplet er xyz koordinater til et punkt – tre tall som indikerer hvor punktet er i tredimensjonalt rom. En seksdimensjonal vektor inneholder ytterligere tre deler av informasjon - kanskje de rød-grønne-blå verdiene for punktets farge. I et nevralt nett representerer vektorer i hundrevis eller tusenvis av dimensjoner hele bilder eller ord. Og når det gjelder enda høyere dimensjoner, mener Hinton at det som foregår i hjernen vår involverer store vektorer av nevral aktivitet.

Ved hjelp av analogi sammenligner Hinton sin glomming sammen av lignende vektorer med dynamikken til et ekkokammer - forsterkningen av lignende tro. Et ekkokammer er en fullstendig katastrofe for politikk og samfunn, men for nevrale nett er det en stor ting, sier Hinton. Forestillingen om ekkokamre kartlagt på nevrale nettverk kaller han øyer med identiske vektorer, eller mer i daglig tale, øyer med samsvar – når vektorer er enige om arten av informasjonen deres, peker de i samme retning.

Hvis nevrale nett var mer som mennesker, kan de i det minste gå galt på samme måte som folk gjør, og så vil vi få litt innsikt i hva som kan forvirre dem.

Geoffrey Hinton

I ånden når GLOM også det unnvikende målet å modellere intuisjon – Hinton tenker på intuisjon som avgjørende for persepsjon. Han definerer intuisjon som vår evne til uanstrengt å lage analogier. Fra barndommen og i løpet av livet gir vi mening om verden ved å bruke analogisk resonnement, kartlegge likheter fra ett objekt eller en idé eller et konsept til et annet – eller, som Hinton uttrykker det, en stor vektor til en annen. Likheter med store vektorer forklarer hvordan nevrale nettverk gjør intuitivt analogisk resonnement, sier han. Mer generelt fanger intuisjon den ubeskrivelige måten en menneskelig hjerne genererer innsikt på. Hinton selv jobber veldig intuitivt – vitenskapelig styres han av intuisjon og verktøyet for å lage analogier. Og hans teori om hvordan hjernen fungerer handler om intuisjon. Jeg er veldig konsekvent, sier han.

Hinton håper GLOM kan være et av flere gjennombrudd som han regner med er nødvendig før AI er i stand til virkelig kvikk problemløsning – den typen menneskelignende tenkning som ville tillate et system å gi mening om ting man aldri har møtt før; å trekke på likheter fra tidligere erfaringer, leke med ideer, generalisere, ekstrapolere, forstå. Hvis nevrale nett var mer som mennesker, sier han, kan de i det minste gå galt på samme måte som folk gjør, og så vil vi få litt innsikt i hva som kan forvirre dem.

Foreløpig er imidlertid GLOM i seg selv bare en intuisjon - det er vaporware, sier Hinton. Og han erkjenner at som et akronym passer godt til Geoffs siste originale modell. Det er i det minste hans siste.

Utenfor boksen

Hintons hengivenhet til kunstige nevrale nettverk (en oppfinnelse fra midten av det 20. århundre) dateres til tidlig på 1970-tallet. I 1986 hadde han gjort betydelige fremskritt: mens nett i utgangspunktet bare bestod av et par nevronlag, input og output, kom Hinton og samarbeidspartnere opp med en teknikk for et dypere, flerlags nettverk. Men det tok 26 år før datakraft og datakapasitet fanget opp og utnyttet den dype arkitekturen.

I 2012 fikk Hinton berømmelse og rikdom fra et dypt læringsgjennombrudd. Med to studenter implementerte han et flerlags nevralt nettverk som ble opplært til å gjenkjenne objekter i massive bildedatasett. Det nevrale nettet lærte å iterativt forbedre seg ved å klassifisere og identifisere ulike objekter – for eksempel en midd, en sopp, en motorscooter, en Madagaskar-katt. Og den presterte med uventet spektakulær nøyaktighet.

Relatert historie

Er AI Riding en One-Trick Ponni? Omtrent alle AI-fremskritt du har hørt om avhenger av et gjennombrudd som er tre tiår gammelt. Å holde fremdriften oppe vil kreve å konfrontere AIs alvorlige begrensninger.

Dyplæring satte i gang den siste AI-revolusjonen, og transformerte datasyn og feltet som helhet. Hinton mener dyp læring bør være nesten alt som trengs å gjenskape menneskelig intelligens fullt ut.

Men til tross for rask fremgang er det fortsatt store utfordringer. Utsett et nevralt nett for et ukjent datasett eller et fremmed miljø, og det viser seg å være sprøtt og lite fleksibelt. Selvkjørende biler og essayskrivende språkgeneratorer imponerer, men ting kan gå galt. AI visuelle systemer kan lett forveksles: et kaffekrus gjenkjent fra siden ville vært ukjent ovenfra hvis systemet ikke hadde blitt trent på den visningen; og med manipulering av noen få piksler, kan en panda forveksles med en struts, eller til og med en skolebuss.

GLOM tar for seg to av de vanskeligste problemene for visuelle persepsjonssystemer: å forstå en hel scene i form av objekter og deres naturlige deler; og gjenkjenne objekter når de sees fra et nytt synspunkt.(GLOMs fokus er på visjon, men Hinton forventer at ideen også kan brukes på språk.)

En gjenstand som Hintons ansikt, for eksempel, består av hans livlige hvis hundetrøtte øyne (for mange som stiller spørsmål, for lite søvn), munnen og ørene og en fremtredende nese, alt toppet av en ikke-for - uryddig sus av stort sett grått. Og gitt nesen hans er han lett å gjenkjenne selv ved første blikk i profilvisning.

Begge disse faktorene – del-hele forholdet og synspunktet – er, fra Hintons perspektiv, avgjørende for hvordan mennesker ser. Hvis GLOM noen gang fungerer, sier han, kommer det til å gjøre persepsjon på en måte som er mye mer menneskelignende enn dagens nevrale nett.

Å gruppere deler i helheter kan imidlertid være et vanskelig problem for datamaskiner, siden deler noen ganger er tvetydige. En sirkel kan være et øye, en smultring eller et hjul. Som Hinton forklarer det, prøvde den første generasjonen AI-synssystemer å gjenkjenne objekter ved å stole mest på geometrien til del-hele-forholdet – den romlige orienteringen mellom delene og mellom delene og helheten. Den andre generasjonen stolte i stedet mest på dyp læring – slik at det nevrale nettet trene på store datamengder. Med GLOM kombinerer Hinton de beste aspektene ved begge tilnærmingene.

Det er en viss intellektuell ydmykhet jeg liker ved det, sier Gary Marcus, grunnlegger og administrerende direktør i Robust.AI og en kjent kritiker av den store avhengigheten av dyp læring. Marcus beundrer Hintons vilje til å utfordre noe som ga ham berømmelse, for å innrømme at det ikke helt fungerer. Det er modig, sier han. Og det er et flott korrektiv å si: 'Jeg prøver å tenke utenfor boksen.'

GLOM-arkitekturen

I lage GLOM , prøvde Hinton å modellere noen av de mentale snarveiene – intuitive strategier eller heuristikk – som folk bruker for å forstå verden. GLOM, og faktisk mye av Geoffs arbeid, handler om å se på heuristikk som folk ser ut til å ha, bygge nevrale nett som selv kan ha disse heuristikkene, og deretter vise at nettene gjør det bedre med syn som et resultat, sier Nick Frosst, en datamaskin vitenskapsmann ved en språkstartup i Toronto som jobbet med Hinton hos Google Brain.

Med visuell persepsjon er en strategi å analysere deler av et objekt – for eksempel forskjellige ansiktstrekk – og dermed forstå helheten. Hvis du ser en bestemt nese, kan du kanskje gjenkjenne den som en del av Hintons ansikt; det er et delvis hele hierarki. For å bygge et bedre visjonssystem, sier Hinton, har jeg en sterk intuisjon om at vi må bruke delvis hele hierarkier. Menneskelige hjerner forstår denne del-hele sammensetningen ved å lage det som kalles et parse-tre – et forgrenende diagram som viser det hierarkiske forholdet mellom helheten, dens deler og underdeler. Selve ansiktet er på toppen av treet, og komponenten øyne, nese, ører og munn danner grenene under.

Et av Hintons hovedmål med GLOM er å replikere parsetreet i et nevralt nett – dette vil skille det fra nevrale nett som kom før. Av tekniske årsaker er det vanskelig å gjøre. Det er vanskelig fordi hvert enkelt bilde vil bli analysert av en person til et unikt analysetre, så vi vil at et nevralt nett skal gjøre det samme, sier Frosst. Det er vanskelig å få noe med en statisk arkitektur – et nevralt nett – å ta på seg en ny struktur – et analysere tre – for hvert nytt bilde det ser. Hinton har gjort forskjellige forsøk. GLOM er en stor revisjon av hans forrige forsøk i 2017, kombinert med andre relaterte fremskritt på feltet.

Jeg er en del av en nese!

GLOM vektor

MS TECH | EVIATAR BACH VIA WIKIMEDIA

En generalisert måte å tenke på GLOM-arkitekturen er som følger: Bildet av interesse (f.eks. et fotografi av Hintons ansikt) er delt inn i et rutenett. Hvert område av rutenettet er et sted på bildet – ett sted kan inneholde irisen til et øye, mens et annet kan inneholde nesetippen. For hver plassering i nettet er det omtrent fem lag, eller nivåer. Og nivå for nivå lager systemet en prediksjon, med en vektor som representerer innholdet eller informasjonen. På et nivå nær bunnen kan vektoren som representerer nesespissen forutsi: Jeg er en del av en nese! Og på neste nivå opp, ved å bygge en mer sammenhengende representasjon av det den ser, kan vektoren forutsi: Jeg er en del av et ansikt i sidevinkel!

Men så er spørsmålet om nabovektorer på samme nivå er enige? Når de er enige, peker vektorer i samme retning, mot samme konklusjon: Ja, vi tilhører begge den samme nesen. Eller lenger opp i parsetreet. Ja, vi tilhører begge samme ansikt.

Søker konsensus om et objekts natur – om hva objektet til syvende og sist er – GLOMs vektorer iterativt, sted-for-sted og lag-på-lag, gjennomsnitt med nabovektorer ved siden av, samt predikerte vektorer fra nivåer over og under .

Nettet er imidlertid ikke helt i gjennomsnitt med alt i nærheten, sier Hinton. Det gjennomsnitt selektivt, med nærliggende spådommer som viser likheter. Dette er velkjent i Amerika, dette kalles et ekkokammer, sier han. Det du gjør er at du bare aksepterer meninger fra folk som allerede er enige med deg; og så skjer det at du får et ekkokammer hvor en hel haug med mennesker har akkurat samme oppfatning. GLOM bruker det faktisk på en konstruktiv måte. Det analoge fenomenet i Hintons system er de enighetsøyene.

Geoff er en høyst uvanlig tenker...'

Saksøke Becker

Se for deg en haug med mennesker i et rom, som roper små variasjoner av den samme ideen, sier Frosst - eller forestill deg disse menneskene som vektorer som peker i små variasjoner av samme retning. De ville, etter en stund, konvergere om den ene ideen, og de ville alle føle den sterkere, fordi de fikk den bekreftet av de andre menneskene rundt seg. Det er slik GLOMs vektorer forsterker og forsterker deres kollektive spådommer om et bilde.

GLOM bruker disse øyene med samsvarende vektorer for å utføre trikset med å representere et parse-tre i et nevralt nett. Mens noen nyere nevrale nett bruker samsvar mellom vektorer for aktivering , GLOM bruker avtale for representasjon – bygge opp representasjoner av ting på nettet. For eksempel, når flere vektorer er enige om at de alle representerer en del av nesen, representerer deres lille klynge av enighet kollektivt nesen i nettets analysetre for ansiktet. En annen liten klynge av samsvarende vektorer kan representere munnen i analysetreet; og den store klyngen på toppen av treet vil representere den nye konklusjonen om at bildet som helhet er Hintons ansikt. Måten analysetreet er representert her, forklarer Hinton, er at på objektnivå har du en stor øy; delene av objektet er mindre øyer; underdelene er enda mindre øyer, og så videre.

Figur 2 fra Hintons GLOM-papir. Øyene med identiske vektorer (piler av samme farge) på de forskjellige nivåene representerer et parse-tre.

GEOFFREY HINTON

I følge Hintons mangeårige venn og samarbeidspartner Yoshua Bengio, en informatiker ved University of Montreal, vil det være en bragd hvis GLOM klarer å løse den tekniske utfordringen med å representere et parse-tre i et nevralt nett – det ville være viktig for få nevrale nett til å fungere skikkelig. Geoff har produsert utrolig kraftige intuisjoner mange ganger i karrieren, hvorav mange har vist seg riktig, sier Bengio. Derfor tar jeg hensyn til dem, spesielt når han føler like sterkt for dem som han gjør om GLOM.

Styrken til Hintons overbevisning er forankret ikke bare i ekkokammeranalogien, men også i matematiske og biologiske analogier som inspirerte og rettferdiggjorde noen av designbeslutningene i GLOMs nye konstruksjon.

Geoff er en svært uvanlig tenker ved at han er i stand til å trekke på komplekse matematiske konsepter og integrere dem med biologiske begrensninger for å utvikle teorier, sier Sue Becker, en tidligere student av Hintons, nå en beregningsmessig kognitiv nevroforsker ved McMaster University. Forskere som er mer snevert fokusert på enten den matematiske teorien eller nevrobiologien er mye mindre sannsynlig å løse det uendelig overbevisende puslespillet om hvordan både maskiner og mennesker kan lære og tenke.

Gjør filosofi til ingeniørfag

Så langt har Hintons nye idé blitt godt mottatt, spesielt i noen av verdens største ekkokamre. På Twitter fikk jeg mange likes, sier han. Og en Youtube opplæringen gjorde krav på begrepet MeGLOMania.

Hinton er den første som innrømmer at GLOM for tiden er lite mer enn filosofisk grubling (han tilbrakte et år som filosofistudium før han byttet til eksperimentell psykologi). Hvis en idé høres bra ut i filosofi, er den god, sier han. Hvordan ville du noen gang hatt en filosofisk idé som bare høres ut som søppel, men som faktisk viser seg å være sann? Det ville ikke passet som en filosofisk idé. Vitenskap, til sammenligning, er full av ting som høres ut som fullstendig søppel, men som viser seg å fungere bemerkelsesverdig bra - for eksempel nevrale nett, sier han.

GLOM er designet for å høres filosofisk plausibelt ut. Men vil det fungere?

Chris Williams, professor i maskinlæring ved School of Informatics ved University of Edinburgh, forventer at GLOM godt kan skape store innovasjoner. Men, sier han, det som skiller AI fra filosofi er at vi kan bruke datamaskiner til å teste slike teorier. Det er mulig at en feil i ideen kan bli avslørt - kanskje også reparert - av slike eksperimenter, sier han. For øyeblikket tror jeg ikke vi har nok bevis til å vurdere den virkelige betydningen av ideen, selv om jeg tror den har mye lovende.

GLOM-testmodellinngangene er ti ellipser som danner en sau eller et ansikt.

LAURA CULP

Noen av Hintons kolleger ved Google Research i Toronto er i de tidlige stadiene av å undersøke GLOM eksperimentelt. Laura Culp, en programvareingeniør som implementerer nye nevrale nettarkitekturer, bruker en datasimulering for å teste om GLOM kan produsere Hintons øyer med enighet om å forstå deler og helheter av et objekt, selv når inngangsdelene er tvetydige. I forsøkene er delene 10 ellipser, ovaler av varierende størrelse, som kan ordnes for å danne enten et ansikt eller en sau.

Med tilfeldige inndata av en eller annen ellipse, bør modellen være i stand til å gi spådommer, sier Culp, og håndtere usikkerheten om hvorvidt ellipsen er en del av et ansikt eller en sau, og om det er beinet til en sau. , eller hodet til en sau. Konfrontert med eventuelle forstyrrelser, bør modellen også kunne korrigere seg selv. Et neste trinn er å etablere en grunnlinje, som indikerer om et standard nevralenett for dyp læring ville bli forvirret av en slik oppgave. Foreløpig er GLOM høyt overvåket – Culp oppretter og merker dataene, ber og presser modellen for å finne riktige spådommer og lykkes over tid. (Den uovervåkede versjonen heter GLUM—det er en spøk, sier Hinton.)

I denne foreløpige tilstanden er det for tidlig å trekke noen store konklusjoner. Culp venter på flere tall. Hinton er allerede imponert likevel. En enkel versjon av GLOM kan se på 10 ellipser og se et ansikt og en sau basert på de romlige relasjonene mellom ellipsene, sier han. Dette er vanskelig, fordi en individuell ellipse formidler ingenting om hvilken type objekt den tilhører eller hvilken del av objektet den er.

Og totalt sett er Hinton fornøyd med tilbakemeldingene. Jeg ville bare legge det ut der for fellesskapet, så alle som liker kan prøve det ut, sier han. Eller prøv en underkombinasjon av disse ideene. Og da vil det gjøre filosofi til vitenskap.

gjemme seg