En debatt mellom AI-eksperter viser en kamp om teknologiens fremtid

Gary Marcus og Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Siden 1950-tallet har kunstig intelligens gjentatte ganger overlovet og underlevert. Mens de siste årene har sett utrolige sprang takket være dyp læring, er AI i dag fortsatt smal: den er skjør i møte med angrep, kan ikke generalisere for å tilpasse seg skiftende miljøer og er full av skjevheter. Alle disse utfordringene gjør teknologien vanskelig å stole på og begrenser dens potensiale til nytte for samfunnet.

Den 26. mars på MIT Technology Reviews årlige EmTech Digital-arrangement, tok to fremtredende skikkelser innen AI til den virtuelle scenen for å diskutere hvordan feltet kan overvinne disse problemene.

Gary Marcus, professor emeritus ved NYU og grunnlegger og administrerende direktør for Robust.AI, er en kjent kritiker av dyp læring. I boken hans Starter AI på nytt , publisert i fjor, hevdet han at AIs mangler er iboende i teknikken. Forskere må derfor se utover dyp læring, argumenterer han, og kombinere det med klassisk, eller symbolsk, AI – systemer som koder for kunnskap og er i stand til å resonnere.

Danny Lange, visepresident for AI og maskinlæring ved Unity, sitter rett og slett i dyplæringsleiren. Han bygde sin karriere på teknikkens løfte og potensial, etter å ha fungert som leder for maskinlæring hos Uber, daglig leder for Amazon Machine Learning, og en produktleder hos Microsoft med fokus på maskinlæring i stor skala. Hos Unity hjelper han nå laboratorier som DeepMind og OpenAI med å konstruere virtuelle treningsmiljøer som lærer algoritmene deres en følelse av verden.

Under arrangementet holdt hver foredragsholder en kort presentasjon og satte seg deretter ned for en paneldiskusjon. Uenighetene de uttrykte gjenspeiler mange av sammenstøtene innen feltet, og fremhever hvor kraftig teknologien har blitt formet av en vedvarende idékamp og hvor liten sikkerhet det er om hvor den er på vei videre.

Nedenfor er paneldiskusjonen deres blitt komprimert og lett redigert for klarhet.

Gary, du bruker ekspertisen din innen nevrovitenskap og psykologi for å finne ut hva som mangler i AI. Hva er det med klassisk AI som du mener gjør det til det rette systemet å kombinere med dyp læring?

Gary Marcus: Det første jeg vil si er at vi kan trenge hybrider som er mer kompliserte enn bare dyp læring pluss klassisk AI. Vi trenger kl minst at. Men det kan være en hel haug med ting vi ikke engang har drømt om ennå. Vi må være åpne.

Hvorfor legge til klassisk AI til blandingen? Vel, vi gjør alle slags resonnementer basert på vår kunnskap i verden. Dyplæring representerer bare ikke det. Det er ingen måte i disse systemene å representere hva en ball er eller hva en flaske er og hva disse tingene gjør med hverandre. Så resultatene ser bra ut, men de er vanligvis ikke særlig generaliserbare.

Klassisk kunstig intelligens – det er styrehuset. Den kan for eksempel analysere en setning til dens semantiske representasjon, eller ha kunnskap om hva som skjer i verden og deretter trekke slutninger om det. Den har sine egne problemer: den har vanligvis ikke nok dekning, fordi for mye av den er håndskrevet og så videre. Men i det minste i prinsippet er det den eneste måten vi kjenner til å lage systemer som kan gjøre ting som logisk slutning og induktiv slutning over abstrakt kunnskap. Det betyr fortsatt ikke at det er helt riktig, men det er uten tvil det beste vi har.

Og så er det mye psykologisk bevis på at folk kan gjøre et visst nivå av symbolsk representasjon. I mitt tidligere liv som kognitiv utviklingsperson, gjorde jeg eksperimenter med syv måneder gamle spedbarn og viste at disse spedbarna kunne generalisere symbolsk kunnskap. Så hvis et syv måneder gammelt spedbarn kan gjøre det, hvorfor holder vi hendene bak ryggen og prøver å bygge AI uten mekanismer som spedbarn har?

Har du sett noen prosjekter der de har lykkes med å kombinere dyp læring og symbolsk AI på lovende måter?

GM: I en artikkel jeg skrev kalte Det neste tiåret i AI , listet jeg opp rundt 20 forskjellige nyere prosjekter som prøver å sette sammen hybridmodeller som har litt dyp læring og litt symbolsk kunnskap. Et eksempel som alle kjenner til er Google-søk. Når du skriver inn et søk, er det noen klassisk kunstig intelligens der som prøver å disambiguere ord. Den prøver å finne ut når du snakker om Paris, snakker du om Paris Hilton, Paris, Texas eller Paris, Frankrike, ved å bruke Googles kunnskapsgraf. Og så bruker den dyp læring til å gjøre andre ting - for eksempel å finne synonymer ved å bruke BERT modell . Selvfølgelig er Google-søk ikke AI-en vi til slutt håper å oppnå, men det er et ganske solid bevis på at dette ikke er en umulig drøm.

Danny, er du enig i at vi bør se på disse hybridmodellene?

Danny Lange: Nei, jeg er ikke enig. Problemet jeg har med symbolsk AI er forsøket på å prøve å etterligne den menneskelige hjernen i en veldig dyp forstand. Det minner meg litt om, du vet, på 1700-tallet hvis du ville ha raskere transport, ville du jobbet med å bygge en mekanisk hest i stedet for å finne opp forbrenningsmotoren. Så jeg er veldig skeptisk til å prøve å løse AI ved å prøve å etterligne den menneskelige hjernen.

Dyplæring er ikke nødvendigvis en sølvkule, men hvis du mater den med nok data og du har den rette nevrale nettverksarkitekturen, er den i stand til å lære abstraksjoner som vi som mennesker ikke kan tolke, men som gjør systemet veldig effektivt til å løse et bredt spekter av oppgaver.

Det høres ut som om dere begge er grunnleggende uenige om hva målet med AI er.

GM: Jeg tror det er en ironi. Da jeg hadde en debatt med Yoshua Bengio i desember, sa Bengio at den eneste forpliktelsen til dyp læring var at den var nevrologisk basert. Så jeg har hørt begge motsatte ytterpunkter fra dyp læring. Det er litt rart, og jeg tror ikke vi skal ta disse argumentene på alvor.

I stedet bør vi si: Kan symboler hjelpe oss? Og svaret er, overveldende, ja. Nesten all verdens programvare er bygget på symboler. Og så må du si, empirisk, gjør dyplæringstingene det vi vil at de skal gjøre? Og problemet så langt er at den har vært modellfri. Vicarious [en AI-drevet industrirobotikk-oppstart] hadde en flott demonstrasjon av et Atari-spilllæringssystem som DeepMind gjorde veldig populært, hvor det lærte å spille Breakout på et overmenneskelig nivå. Men så flyttet Vicarious padlen noen piksler og det hele falt fra hverandre, fordi læringsnivået var altfor grunt. Den hadde ikke et konsept om en åre, en ball, et sett med klosser. En symbolsk algoritme for Breakout vil veldig enkelt kunne kompensere for disse tingene.

Grunnen til å se på mennesker er fordi det er visse ting som mennesker gjør mye bedre enn dyplæringssystemer. Det betyr ikke at mennesker til syvende og sist vil være den rette modellen. Vi ønsker systemer som har noen egenskaper til datamaskiner og noen egenskaper som er lånt fra folk. Vi vil ikke at AI-systemene våre skal ha dårlig hukommelse bare fordi folk har det. Men siden mennesker er den eneste modellen av et system som kan utvikle en dyp forståelse av noe – bokstavelig talt den eneste modellen vi har – må vi ta den modellen på alvor.

DL: Ja, så eksemplet på at verdens programmeringsspråk er symbolsk basert - det er sant fordi de er laget for at mennesker skal implementere ideene og tankene sine.

Dyplæring er ikke en replikering av den menneskelige hjernen. Kanskje du kan si at det er inspirert av den nevrale verden, men det er et stykke programvare. Vi har egentlig ikke gått i dybden med dyp læring ennå. Vi har hatt en begrenset mengde treningsdata så langt. Vi har hatt begrensede strukturer med begrenset datakraft. Men nøkkelpoenget er at dyp læring lærer konseptet, den lærer funksjonene. Det er ikke en menneskeskapt ting. Jeg tror den store forskjellen mellom Garys tilnærming og min tilnærming er om de menneskelige ingeniørene gir intelligens til systemet eller om systemet lærer intelligens selv.

Danny, du nevnte at vi egentlig ikke har sett potensialet i dyp læring fullt ut på grunn av begrensninger i data og databehandling. Bør vi ikke utvikle nye teknikker, gitt at dyp læring er så ineffektivt? Vi har måttet øke databehandlingen drastisk for å låse opp nye dyplæringsevner.

DL: Et av problemene med dyp læring er at den så langt virkelig har vært basert på en slags klassisk tilnærming: du genererer et stort treningsdatasett og så mater du det inn. En ting som virkelig kan forbedre dyp læring er å ha en aktiv læringsprosess hvor nettverket trenes opp for å optimalisere treningsdataene. Du trenger ikke bare å mate inn en forferdelig mengde data for å forbedre læringsprosessen. Du kan hele tiden skreddersy treningsdataene dine for å målrette et spesifikt område.

Gary, du påpeker dyp lærings sårbarheter overfor partiskhet og til motstridende angrep . Danny, du nevnte at syntetiske data er en løsning på dette fordi det ikke er noen skjevhet, og du kan kjøre millioner av simuleringer som antagelig blir kvitt motstandsdyktige sårbarheter. Hva er hver av dine svar på det?

GM: Data alene er ikke en løsning ennå. Syntetiske data kommer ikke til å hjelpe med ting som skjevheter i lån eller skjevheter i jobbintervjuer. Det virkelige problemet der er at disse systemene har en tendens til å opprettholde skjevheter som var der av historiske årsaker. Det er ikke åpenbart at syntetiske data er løsningen, i motsetning til å bygge systemer som er sofistikerte nok til å forstå de kulturelle skjevhetene som vi prøver å erstatte.

Motstridende angrep er en annen type ting. Data kan hjelpe med noen av dem, men så langt har vi egentlig ikke eliminert de mange forskjellige typene motstridende angrep. Jeg viste deg baseballen med skum på og ble beskrevet som espresso. Hvis noen på forhånd tenker å lage baseballer med espresso i simulering og merke dem nøye, greit. Det vil alltid være noen tilfeller som ingen har tenkt på. Et system som er rent datadrevet kommer til å fortsette å være sårbart.

DL: Data fra den virkelige verden er veldig partisk, uansett hva du gjør. Du samler inn data i et bestemt miljø, for eksempel for selvkjørende kjøretøy, og du har en representasjon av kanskje 90 % voksne og 10 % barn i gatene. Det er normalfordelingen. Men et maskinlæringssystem må trene på jevne mengder voksne og barn for trygt å unngå å treffe noen av dem. Så med syntetiske data er du i utgangspunktet i stand til å balansere ut og unngå skjevhet hvis du er forsiktig. Det betyr ikke at du ikke kan skape nye skjevheter. Det må du passe deg for. Du løser absolutt personvernproblemer, fordi det ikke er noen ekte mennesker eller ekte barn i noen av treningsdataene dine.

Når det gjelder motstridende eksempler, er problemet med mange av dem at de i utgangspunktet utvikles mot svake datasynsmodeller - modeller som har blitt trent på 10 eller 20 millioner bilder, for eksempel fra ImageNet. Det er langt fra nok data til å faktisk generalisere en modell. Vi trenger store mengder datasett med utrolige mengder domenerandomisering for å generalisere disse datasynsmodellene slik at de faktisk ikke lar seg lure.

Hva er det du er mest spent på for fremtiden til AI?

GM: Det har vært en reell bevegelse mot hybridmodeller det siste året. Folk utforsker nye ting som de ikke har gjort før, og det er spennende.

DL: Jeg tror det egentlig er flermodellsystemer – systemer som har vært sammensatt av mange forskjellige modeller for persepsjon og atferd sammen for å løse virkelige komplekse oppgaver.

gjemme seg