Er AI Riding en One-Trick Ponni?

Omtrent alle AI-fremskritt du har hørt om avhenger av et gjennombrudd som er tre tiår gammelt. Å holde fremdriften oppe vil kreve å konfrontere AIs alvorlige begrensninger. Av

• James Somers arkivside

29. september 2017

Adam Omvei

Jeg står i det som snart skal være verdens sentrum, eller kanskje bare er et veldig stort rom i syvende etasje i et skinnende tårn i Toronto sentrum. Viser meg rundt er Jordan Jacobs, som var med på å grunnlegge dette stedet: det gryende Vector Institute, som åpner dørene denne høsten og som har som mål å bli det globale episenteret for kunstig intelligens.

Vi er i Toronto fordi Geoffrey Hinton er i Toronto, og Geoffrey Hinton er faren til dyp læring, teknikken bak den nåværende spenningen rundt AI. Om 30 år kommer vi til å se tilbake og si at Geoff er Einstein – av AI, dyp læring, det vi kaller AI, sier Jacobs. Av forskerne på toppen av feltet dyp læring har Hinton flere siteringer enn de tre neste til sammen. Studentene og postdoktorene hans har drevet AI-laboratoriene hos Apple, Facebook og OpenAI; Hinton er selv en ledende vitenskapsmann i Google Brain AI-teamet. Faktisk sporer nesten alle prestasjonene i det siste tiåret av AI – i oversettelse, talegjenkjenning, bildegjenkjenning og spilling – på en måte tilbake til Hintons arbeid.

Denne historien var en del av november 2017-utgaven vår

• Se resten av saken
• Abonnere

Vector Institute, dette monumentet til oppstigningen av Hintons ideer, er et forskningssenter der selskaper fra hele USA og Canada – som Google og Uber og Nvidia – vil sponse innsats for å kommersialisere AI-teknologier. Pengene har strømmet inn raskere enn Jacobs kunne be om dem; to av grunnleggerne hans undersøkte selskaper i Toronto-området, og etterspørselen etter AI-eksperter endte opp med å være 10 ganger det Canada produserer hvert år. Vector er på en måte grunnnull for det nå verdensomspennende forsøket på å mobilisere rundt dyp læring: å tjene penger på teknikken, å lære den, å foredle og bruke den. Datasentre bygges, tårn fylles med startups, en hel generasjon studenter skal ut i felten.

Inntrykket du får stående på Vector-gulvet, nakne og ekko og i ferd med å bli fylt, er at du er i begynnelsen av noe. Men det særegne med dyp læring er hvor gamle nøkkelideene er. Hintons banebrytende artikkel, med kollegene David Rumelhart og Ronald Williams, ble publisert i 1986. Artikkelen utdypet en teknikk som kalles backpropagation, eller forkortet backprop. Backprop, med ordene til Jon Cohen, en beregningspsykolog ved Princeton, er det all dyp læring er basert på – bokstavelig talt alt.

Når du koker det ned, er AI i dag dyp læring, og dyp læring er backprop – noe som er utrolig, med tanke på at backprop er mer enn 30 år gammelt. Det er verdt å forstå hvordan det skjedde – hvordan en teknikk kunne ligge på lur så lenge og deretter forårsake en slik eksplosjon – for når du først forstår historien om backprop, vil du begynne å forstå øyeblikket i AI, og spesielt faktum at vi kanskje ikke er i begynnelsen av en revolusjon. Kanskje vi er i slutten av en.

Rettferdiggjørelse

Turen fra Vector Institute til Hintons kontor på Google, hvor han tilbringer mesteparten av tiden sin (han er nå emeritusprofessor ved University of Toronto), er en slags levende reklame for byen, i hvert fall om sommeren. Du kan forstå hvorfor Hinton, som opprinnelig er fra Storbritannia, flyttet hit på 1980-tallet etter å ha jobbet ved Carnegie Mellon University i Pittsburgh.

Når du går utenfor, selv i sentrum nær finansdistriktet, føler du at du faktisk har gått ut i naturen. Det er lukten, tenker jeg: våt leirjord i luften. Toronto ble bygget på toppen av skogkledde raviner, og det sies å være en by i en park; Ettersom det har blitt urbanisert, har de lokale myndighetene satt strenge restriksjoner for å vedlikeholde trekronen. Når du flyr inn, ser de ytre delene av byen nesten tegneserieaktig frodig ut.

Kanskje vi faktisk ikke er i begynnelsen av en revolusjon.

Toronto er den fjerde største byen i Nord-Amerika (etter Mexico City, New York og L.A.), og dens mest mangfoldige: mer enn halvparten av befolkningen ble født utenfor Canada. Du kan se det gå rundt. Publikum i teknologikorridoren ser mindre San Francisco ut – unge hvite gutter i hettegensere – og mer internasjonale. Det er gratis helsetjenester og gode offentlige skoler, folket er vennlige, og den politiske ordenen er relativt venstreorientert og stabil; og dette trekker folk som Hinton, som sier at han forlot USA på grunn av Iran-Contra-affæren. Det er en av de første tingene vi snakker om når jeg går for å møte ham, rett før lunsj.

De fleste ved CMU mente det var helt rimelig for USA å invadere Nicaragua, sier han. De trodde på en måte at de eide den. Han forteller meg at han nylig hadde et stort gjennombrudd på et prosjekt: å få en veldig god junioringeniør som jobber med meg, en kvinne som heter Sara Sabour. Sabour er iransk, og hun ble nektet visum for å jobbe i USA. Googles kontor i Toronto hentet henne.

Hinton, som er 69 år gammel, har det snille, magre, engelske ansiktet til Big Friendly Giant, med en tynn munn, store ører og en stolt nese. Han ble født i Wimbledon, England, og høres, når han snakker, ut som fortelleren i en barnebok om vitenskap: nysgjerrig, engasjerende, ivrig etter å forklare ting. Han er morsom, og litt av en showmann. Han står hele tiden vi snakker, fordi det viser seg at det er for smertefullt å sitte. Jeg satte meg ned i juni 2005, og det var en feil, forteller han meg, og lot den bisarre linjen lande før han forklarer at en skive i ryggen hans gir ham problemer. Det betyr at han ikke kan fly, og tidligere samme dag måtte han ta med en innretning som så ut som et surfebrett til tannlegekontoret slik at han kunne ligge på det mens han fikk undersøkt en sprukket tannrot.

På 1980-tallet var Hinton, som han er nå, en ekspert på nevrale nettverk, en mye forenklet modell av nettverket av nevroner og synapser i hjernen vår. På den tiden var det imidlertid bestemt at nevrale nettverk var en blindvei i AI-forskning. Selv om det tidligste nevrale nettet, Perceptron, som begynte å bli utviklet på 1950-tallet, hadde blitt hyllet som et første skritt mot maskinintelligens på menneskelig nivå, kalt en bok fra 1969 av MITs Marvin Minsky og Seymour Papert. Perceptrons , beviste matematisk at slike nettverk bare kunne utføre de mest grunnleggende funksjonene. Disse nettverkene hadde bare to lag med nevroner, et inngangslag og et utgangslag. Nett med flere lag mellom inngangs- og utgangsnevronene kunne i teorien løse en rekke problemer, men ingen visste hvordan de skulle trene dem, og i praksis var de ubrukelige. Bortsett fra noen få holdouts som Hinton, Perceptrons fikk folk flest til å gi opp nevrale nett helt.

Hintons gjennombrudd, i 1986, var å vise at tilbakeforplantning kunne trene opp et dypt nevralt nett, altså et med mer enn to eller tre lag. Men det tok ytterligere 26 år før økende beregningskraft gjorde nytte for oppdagelsen. Et papir fra 2012 av Hinton og to av hans Toronto-studenter viste at dype nevrale nett, trent ved hjelp av tilbakepropagasjon, slår toppmoderne systemer innen bildegjenkjenning. Dyplæring tok av. For omverdenen så det ut til at AI våknet over natten. For Hinton var det en uttelling for lenge siden.

Virkelighetsforvrengningsfelt

Et nevralt nett er vanligvis tegnet som en club sandwich, med lag stablet oppå hverandre. Lagene inneholder kunstige nevroner, som er dumme små beregningsenheter som blir begeistret – slik en ekte nevron blir begeistret – og overfører den spenningen til de andre nevronene de er koblet til. En nevrons begeistring er representert av et tall, som 0,13 eller 32,39, som sier akkurat hvor begeistret den er. Og det er et annet avgjørende tall, på hver av forbindelsene mellom to nevroner, som bestemmer hvor mye spenning som skal overføres fra den ene til den andre. Dette tallet er ment å modellere styrken til synapsene mellom nevroner i hjernen. Når tallet er høyere, betyr det at forbindelsen er sterkere, så mer av den enes spenning flyter til den andre.

Et diagram fra banebrytende arbeid om feilutbredelse av Hinton, David Rumelhart og Ronald Williams.

En av de mest vellykkede bruksområdene for dype nevrale nett er bildegjenkjenning - som i den minneverdige scenen i HBOs Silicon Valley hvor teamet bygger et program som kan fortelle om det er en pølse på bildet. Programmer som det eksisterer faktisk, og de ville ikke vært mulig for et tiår siden. For å få dem til å fungere, er det første trinnet å få et bilde. La oss si at det for enkelhets skyld er et lite svart-hvitt-bilde som er 100 piksler bredt og 100 piksler høyt. Du mater dette bildet til nevrale nettet ditt ved å stille inn spenningen til hver simulert nevron i inngangslaget slik at den er lik lysstyrken til hver piksel. Det er det nederste laget av club sandwich: 10 000 nevroner (100x100) som representerer lysstyrken til hver piksel i bildet.

Du kobler så dette store laget av nevroner til et annet stort lag med nevroner over det, si noen få tusen, og disse i sin tur til et annet lag med ytterligere noen få tusen nevroner, og så videre i noen få lag. Til slutt, i det øverste laget av sandwichen, utgangslaget, har du bare to nevroner – en som representerer pølse og den andre som ikke representerer pølse. Ideen er å lære nevrale nettet å begeistre bare den første av disse nevronene hvis det er en pølse på bildet, og bare den andre hvis det ikke er det. Backpropagation - teknikken som Hinton har bygget sin karriere på - er metoden for å gjøre dette.

Backprop er bemerkelsesverdig enkelt, selv om det fungerer best med enorme mengder data. Det er derfor big data er så viktig i kunstig intelligens – hvorfor Facebook og Google er så sultne på det, og hvorfor Vector Institute bestemte seg for å etablere en butikk nede i gaten fra fire av Canadas største sykehus og utvikle datapartnerskap med dem.

I dette tilfellet tar dataene form av millioner av bilder, noen med pølser og noen uten; trikset er at disse bildene er merket som har pølser. Når du først lager ditt nevrale nett, kan forbindelsene mellom nevroner ha tilfeldige vekter - tilfeldige tall som sier hvor mye spenning som skal sendes langs hver forbindelse. Det er som om synapsene i hjernen ikke er stilt inn ennå. Målet med backprop er å endre disse vektene slik at de får nettverket til å fungere: slik at når du sender inn et bilde av en pølse til det laveste laget, ender det øverste lagets pølse-neuron opp med å bli begeistret.

Anta at du tar ditt første treningsbilde, og det er et bilde av et piano. Du konverterer pikselintensitetene til 100x100-bildet til 10 000 tall, ett for hvert nevron i det nederste laget av nettverket. Ettersom spenningen sprer seg over nettverket i henhold til forbindelsesstyrkene mellom nevroner i tilstøtende lag, vil den til slutt ende opp i det siste laget, det med de to nevronene som sier om det er en pølse på bildet. Siden bildet er av et piano, bør pølse-nevronet ideelt sett ha en null på seg, mens det ikke-pølse-nevronet bør ha et høyt tall. Men la oss si at det ikke fungerer slik. La oss si at nettverket tar feil med dette bildet. Backprop er en prosedyre for å rejiggere styrken til hver tilkobling i nettverket for å fikse feilen for et gitt treningseksempel.

Måten det fungerer på er at du starter med de to siste nevronene, og finner ut hvor feil de tok: hvor stor forskjell er det mellom hva spenningstallene burde vært og hva de faktisk var? Når det er gjort, tar du en titt på hver av forbindelsene som fører inn til disse nevronene - de i det neste nedre laget - og finner ut deres bidrag til feilen. Du fortsetter å gjøre dette til du har gått helt til det første settet med tilkoblinger, helt nederst i nettverket. På det tidspunktet vet du hvor mye hver enkelt forbindelse bidro til den totale feilen, og i et siste trinn endrer du hver av vektene i den retningen som best reduserer feilen totalt sett. Teknikken kalles backpropagation fordi du sprer feil tilbake (eller ned) gjennom nettverket, med utgangspunkt i utdataene.

Det utrolige er at når du gjør dette med millioner eller milliarder av bilder, begynner nettverket å bli ganske flinke til å si om et bilde har en pølse i seg. Og det som er enda mer bemerkelsesverdig er at de individuelle lagene i disse bildegjenkjenningsnettene begynner å kunne se bilder på samme måte som vårt eget visuelle system gjør. Det vil si at det første laget kan ende opp med å oppdage kanter, i den forstand at dets nevroner blir begeistret når det er kanter og ikke blir begeistret når det ikke er det; laget over det kan man være i stand til å oppdage sett med kanter, som hjørner; laget over det kan man begynne å se former; og laget over det kan man begynne å finne ting som åpen bolle eller lukket bolle, i betydningen å ha nevroner som reagerer på begge tilfeller. Nettet organiserer seg med andre ord i hierarkiske lag uten noen gang å ha blitt eksplisitt programmert på den måten.

En ekte intelligens går ikke i stykker når du endrer problemet litt.

Dette er tingen som har alle fascinert. Det er ikke bare at nevrale nett er flinke til å klassifisere bilder av pølser eller hva som helst: de ser ut til å kunne bygge representasjoner av ideer. Med tekst kan du se dette enda tydeligere. Du kan mate teksten til Wikipedia, mange milliarder ord lang, inn i et enkelt nevralt nett, og trene den til å spytte ut, for hvert ord, en stor liste med tall som tilsvarer spenningen til hver nevron i et lag. Hvis du tenker på hvert av disse tallene som en koordinat i et komplekst rom, så er det du gjør i hovedsak å finne et punkt, kjent i denne sammenhengen som en vektor, for hvert ord et sted i det rommet. Tren nå nettverket ditt på en slik måte at ord som dukker opp i nærheten av hverandre på Wikipedia-sider ender opp med lignende koordinater, og voilà, noe sprøtt skjer: ord som har lignende betydninger begynner å dukke opp i nærheten av hverandre i rommet. Det vil si at sinnssyke og uhengslede vil ha koordinater nær hverandre, det samme vil tre og sju, og så videre. Dessuten gjør såkalt vektoraritmetikk det mulig å for eksempel trekke vektoren for Frankrike fra vektoren for Paris, legge til vektoren for Italia og ende opp i nabolaget til Roma. Det fungerer uten at noen sier eksplisitt til nettverket at Roma er for Italia som Paris er for Frankrike.

Det er fantastisk, sier Hinton. Det er sjokkerende. Nevrale nett kan tenkes å prøve å ta ting – bilder, ord, opptak av noen som snakker, medisinske data – og sette dem inn i det matematikere kaller et høydimensjonalt vektorrom, hvor nærheten eller avstanden til tingene gjenspeiler en viktig funksjon. av den faktiske verden. Hinton mener dette er hva hjernen selv gjør. Hvis du vil vite hva en tanke er, sier han, kan jeg uttrykke den for deg med en rekke ord. Jeg kan si «John tenkte, jøss.» Men hvis du spør: «Hva er tanken? Hva betyr det for John å ha den tanken?’ Det er ikke det at inne i hodet hans er det et åpningssitat, og et ‘Whoops,’ og et avsluttende sitat, eller til og med en ryddet versjon av det. Inne i hodet hans er det et stort mønster av nevral aktivitet. Store mønstre av nevral aktivitet, hvis du er matematiker, kan fanges opp i et vektorrom, med hver nevrons aktivitet tilsvarer et tall, og hvert tall til en koordinat til en veldig stor vektor. Etter Hintons syn er det det tanken er: en dans av vektorer.

Geoffrey Hinton med tillatelse fra google

Det er ingen tilfeldighet at Torontos flaggskip AI-institusjon ble oppkalt etter dette faktum. Hinton var den som kom opp med navnet Vector Institute.

Det er et slags virkelighetsforvrengningsfelt som Hinton skaper, en luft av sikkerhet og entusiasme, som gir deg følelsen av at det ikke er noe som vektorer ikke kan gjøre. Tross alt, se på hva de allerede har vært i stand til å produsere: biler som kjører seg selv, datamaskiner som oppdager kreft, maskiner som umiddelbart oversetter talespråk. Og se på denne sjarmerende britiske vitenskapsmannen som snakker om gradientnedstigning i høydimensjonale rom!

Det er først når du forlater rommet du husker: disse dyplæringssystemene er fortsatt ganske dumme, til tross for hvor smarte de noen ganger virker. En datamaskin som ser et bilde av en haug med smultringer stablet opp på et bord og tekster det automatisk, som en haug med smultringer stablet på et bord ser ut til å forstå verden; men når det samme programmet ser et bilde av en jente som pusser tennene og sier Gutten holder et baseballballtre, skjønner du hvor tynn forståelsen egentlig er, om den noen gang var der i det hele tatt.

Nevrale nett er bare tankeløse fuzzy mønstergjenkjennere, og like nyttige som fuzzy mønstergjenkjennere kan være – derav hastverket med å integrere dem i omtrent alle typer programvare – representerer de i beste fall et begrenset merke av intelligens, en som lett lar seg lure . Et dypt nevralt nett som gjenkjenner bilder kan bli fullstendig hindret når du endrer en enkelt piksel, eller legger til visuell støy som er umerkelig for et menneske. Faktisk, nesten like ofte som vi finner nye måter å bruke dyp læring på, finner vi flere av grensene. Selvkjørende biler kan mislykkes i å navigere i forhold de aldri har sett før. Maskiner har problemer med å analysere setninger som krever sunn forståelse av hvordan verden fungerer.

Dyplæring etterligner på noen måter det som foregår i den menneskelige hjernen, men bare på en grunn måte – noe som kanskje forklarer hvorfor intelligensen noen ganger kan virke så grunn. Ryggstøtte ble faktisk ikke oppdaget ved å sondere dypt inn i hjernen, avkode selve tanken; den vokste ut av modeller for hvordan dyr lærer ved prøving og feiling i gamle klassiske kondisjoneringseksperimenter. Og de fleste av de store sprangene som kom etter hvert som den utviklet seg innebar ikke noen ny innsikt om nevrovitenskap; de var tekniske forbedringer, nådd av år med matematikk og ingeniørfag. Det vi vet om intelligens er ingenting mot omfanget av det vi fortsatt ikke vet.

David Duvenaud, en assisterende professor ved samme avdeling som Hinton ved University of Toronto, sier at dyp læring har vært litt som ingeniørfag før fysikk. Noen skriver et papir og sier: «Jeg har laget denne broen, og den reiste seg!» En annen fyr har et papir: «Jeg laget denne broen og den falt ned – men så la jeg til søyler, og så ble den stående.» Så er søyler. en hot ny ting. Noen kommer opp med buer, og det er som: ‘Arches are great!’ Med fysikk, sier han, kan du faktisk forstå hva som kommer til å fungere og hvorfor. Først nylig, sier han, har vi begynt å bevege oss inn i den fasen av faktisk forståelse med kunstig intelligens.

Hinton selv sier: De fleste konferanser består av å gjøre mindre variasjoner ... i motsetning til å tenke hardt og si: 'Hva er det med det vi gjør nå som virkelig er mangelfullt? Hva har den vanskeligheter med? La oss fokusere på det.'

Det kan være vanskelig å sette pris på dette fra utsiden, når alt du ser er det ene store fremskrittet etter det andre. Men den siste fremgangen innen AI har vært mindre vitenskap enn ingeniørkunst, til og med fiksing. Og selv om vi har begynt å få bedre grep om hva slags endringer som vil forbedre dyplæringssystemer, er vi fortsatt stort sett i mørket om hvordan disse systemene fungerer, eller om de noen gang kan bli noe så kraftig som menneskesinnet.

Det er verdt å spørre om vi har vristet nesten alt vi kan ut av ryggstøtten. I så fall kan det bety et platå for fremgang innen kunstig intelligens.

Tålmodighet

Hvis du vil se den neste store tingen, noe som kan danne grunnlaget for maskiner med en mye mer fleksibel intelligens, bør du sannsynligvis sjekke ut forskning som ligner det du ville ha funnet om du hadde møtt backprop på 80-tallet: smarte mennesker kobler til ideer som egentlig ikke fungerer ennå.

For noen måneder siden dro jeg til Center for Minds, Brains and Machines, en multi-institusjonell innsats med hovedkontor ved MIT, for å se en venn av meg, Eyal Dechter, forsvare sin avhandling i kognitiv vitenskap. Rett før samtalen startet, freste kona Amy, hunden deres Ruby og datteren deres Susannah rundt og ønsket ham lykke til. På skjermen var et bilde av Ruby, og ved siden av et av Susannah som baby. Da pappa ba Susannah om å peke seg ut, slo hun glad en lang uttrekkbar peker mot sitt eget babybilde. På vei ut av rommet trillet hun en lekevogn bak moren sin og ropte Lykke til, pappa! over skulderen hennes. Vámanos! sa hun til slutt. Hun er to.

Det faktum at det ikke fungerer er bare en midlertidig irritasjon.

Eyal startet sitt foredrag med et forlokkende spørsmål: Hvordan kan det ha seg at Susannah, etter to års erfaring, kan lære å snakke, leke, følge historier? Hva er det med den menneskelige hjernen som gjør at den lærer så godt? Vil en datamaskin noen gang kunne lære så raskt og så flytende?

Vi forstår nye fenomener i form av ting vi allerede forstår. Vi deler et domene ned i biter og lærer bitene. Eyal er matematiker og dataprogrammerer, og han tenker på oppgaver – som å lage en sufflé – som virkelig komplekse dataprogrammer. Men det er ikke som om du lærer å lage en sufflé ved å lære hver eneste av programmets tusenvis av mikroinstruksjoner, som Roter albuen 30 grader, så se ned på benkeplaten, strekk ut pekefingeren, så … Hvis du måtte gjøre at for hver ny oppgave ville læring være for vanskelig, og du vil sitte fast med det du allerede vet. I stedet kaster vi programmet i form av trinn på høyt nivå, som Pisk eggehvitene, som i seg selv er sammensatt av underprogrammer, som Knekk eggene og Separer ut eggeplommene.

Relatert historie

Relatert historie Ingen vet egentlig hvordan de mest avanserte algoritmene gjør det de gjør. Det kan være et problem.

Datamaskiner gjør ikke dette, og det er en stor del av grunnen til at de er dumme. For å få et dypt læringssystem til å gjenkjenne en pølse, må du kanskje mate den med 40 millioner bilder av pølser. For å få Susannah til å gjenkjenne en pølse, viser du henne en pølse. Og om ikke lenge vil hun ha en forståelse av språk som går dypere enn å erkjenne at visse ord ofte vises sammen. I motsetning til en datamaskin, vil hun ha en modell i tankene om hvordan hele verden fungerer. Det er litt utrolig for meg at folk er redde for at datamaskiner tar jobber, sier Eyal. Det er ikke slik at datamaskiner ikke kan erstatte advokater fordi advokater gjør veldig kompliserte ting. Det er fordi advokater leser og snakker med folk. Det er ikke som om vi er i nærheten. Vi er så langt.

En ekte intelligens går ikke i stykker når du litt endrer kravene til problemet den prøver å løse. Og nøkkeldelen av oppgaven til Eyal var hans demonstrasjon, i prinsippet, av hvordan du kan få en datamaskin til å fungere på den måten: å bruke det den allerede vet på nye oppgaver, for raskt å starte seg fra å vite nesten ingenting om et nytt domene å være ekspert.

Hinton laget denne skissen for sin neste store idé, å organisere nevrale nett med 'kapsler.'

I hovedsak er det en prosedyre han kaller utforskning-komprimeringsalgoritmen. Den får en datamaskin til å fungere litt som en programmerer som bygger opp et bibliotek med gjenbrukbare, modulære komponenter på veien til å bygge flere og mer komplekse programmer. Uten å bli fortalt noe om et nytt domene, prøver datamaskinen å strukturere kunnskap om det bare ved å leke, konsolidere det den har funnet og leke litt mer, slik et menneskebarn gjør.

Hans rådgiver, Joshua Tenenbaum, er en av de mest siterte forskerne innen AI. Tenenbaums navn kom opp i halvparten av samtalene jeg hadde med andre forskere. Noen av nøkkelpersonene i DeepMind – teamet bak AlphaGo, som sjokkerte informatikere ved å slå en verdensmesterspiller i det komplekse spillet Go i 2016 – hadde jobbet som postdoktorer. Han er involvert i en startup som prøver å gi selvkjørende biler litt intuisjon om grunnleggende fysikk og andre sjåførers intensjoner, slik at de bedre kan forutse hva som vil skje i en situasjon de aldri har sett før, som når en lastebil knepper foran dem eller når noen prøver å slå seg sammen veldig aggressivt.

Eyals avhandling er ennå ikke oversatt til den slags praktiske applikasjoner, enn si noen programmer som ville skape overskrifter for å besting et menneske. Problemene Eyal jobber med er bare veldig, veldig vanskelige, sa Tenenbaum. Det kommer til å ta mange, mange generasjoner.

Tenenbaum har langt, krøllete, blekende hår, og da vi satte oss ned for kaffe hadde han på seg en button-down skjorte med svarte bukser. Han fortalte meg at han ser på historien om backprop for inspirasjon. I flere tiår var backprop kul matematikk som egentlig ikke oppnådde noe. Ettersom datamaskiner ble raskere og ingeniørarbeid ble mer sofistikert, ble det plutselig. Han håper det samme kan skje med hans eget og elevenes arbeid, men det kan ta flere tiår til.

Når det gjelder Hinton, er han overbevist om at å overvinne AIs begrensninger innebærer å bygge en bro mellom informatikk og biologi. Backprop var, i dette synet, en triumf av biologisk inspirert beregning; ideen kom opprinnelig ikke fra ingeniørfag, men fra psykologi. Så nå prøver Hinton å få til et lignende triks.

Nevrale nettverk i dag er laget av store flate lag, men i den menneskelige neocortex er ekte nevroner arrangert ikke bare horisontalt i lag, men vertikalt i kolonner. Hinton tror han vet hva søylene er til for – for eksempel i synet er de avgjørende for vår evne til å gjenkjenne objekter selv når synspunktet vårt endres. Så han bygger en kunstig versjon – han kaller dem kapsler – for å teste teorien. Så langt har det ikke slått ut; kapslene har ikke forbedret nettenes ytelse dramatisk. Men dette var den samme situasjonen han hadde vært i med bakstøtte i nesten 30 år.

Denne tingen må bare stemme, sier han om kapselteorien og ler av sin egen frimodighet. Og det faktum at det ikke fungerer er bare en midlertidig irritasjon.

James Somers er en forfatter og programmerer basert i New York City. Hans forrige artikkel for MIT Technology Review var Toolkits for the Mind i mai/juni 2015, som viste hvordan internettstartups formes av programmeringsspråkene de bruker.

gjemme seg