Kunstig generell intelligens: Er vi nærme, og er det i det hele tatt fornuftig å prøve?

Ariel Davis

Ideen om kunstig generell intelligens slik vi kjenner den i dag starter med en dot-com-utblåsning på Broadway.

For tjue år siden – før Shane Legg klikket på nevrovitenskap postgrad Demis Hassabis over en delt fascinasjon for intelligens; før paret ble koblet sammen med Hassabis barndomsvenn Mustafa Suleyman, en progressiv aktivist, for å spinne den fascinasjonen inn i et selskap som heter DeepMind; før Google kjøpte det selskapet for mer enn en halv milliard dollar fire år senere—Legg jobbet ved en oppstart i New York kalt Webmind, satt opp av AI-forsker Ben Goertzel. I dag representerer de to mennene to vidt forskjellige grener av fremtiden for kunstig intelligens, men røttene deres strekker seg tilbake til felles grunn.

Selv for dot-com-boblens heftige dager var Webminds mål ambisiøse. Goertzel ønsket å lage en digital babyhjerne og slippe den ut på internett, der han trodde den ville vokse opp til å bli fullstendig selvbevisst og langt smartere enn mennesker. Vi er på randen av en overgang som er like stor som fremveksten av intelligens, eller fremveksten av språk, sa han til Christian Science Monitor i 1998.

Webmind prøvde å bankrolle seg selv ved å bygge et verktøy for å forutsi oppførselen til finansmarkedene ved siden av, men den større drømmen ble aldri oppfylt. Etter å ha brent gjennom 20 millioner dollar, ble Webmind kastet ut fra sine kontorer på sørspissen av Manhattan og sluttet å betale sine ansatte. Den begjærte seg konkurs i 2001.

Ben Goertzel

WIKIMEDIA COMMONS

Men Legg og Goertzel holdt kontakten. Da Goertzel satt sammen en bok av essays om overmenneskelig AI noen år senere var det Legg som kom opp med tittelen. Jeg snakket med Ben, og jeg tenkte: 'Vel, hvis det handler om generaliteten som AI-systemer ennå ikke har, bør vi bare kalle det Kunstig generell intelligens , sier Legg, som nå er DeepMinds sjefforsker. Og AGI har på en måte en ring til det som et akronym.

Begrepet satt fast. Goertzels bok og den årlige AGI-konferansen som han lanserte i 2008 har gjort AGI til et vanlig buzzword for menneskelignende eller overmenneskelig AI. Men det har også blitt en stor bugbear. Jeg liker ikke begrepet AGI, sier Jerome Pesenti, leder for AI hos Facebook. Jeg vet ikke hva det betyr.

Han er ikke alene. En del av problemet er at AGI er et samleobjekt for håp og frykt rundt en hel teknologi. I motsetning til populær tro, handler det egentlig ikke om maskinbevissthet eller tenkende roboter (selv om mange AGI-folk drømmer om det også). Men det handler om å tenke stort. Mange av utfordringene vi står overfor i dag, fra klimaendringer til sviktende demokratier til folkehelsekriser, er enormt komplekse. Hvis vi hadde maskiner som kunne tenke som oss eller bedre – raskere og uten å bli slitne – så hadde vi kanskje hatt en bedre sjanse til å løse disse problemene. Som informatikeren I.J. Godt sagt i 1965: den første ultraintelligente maskinen er den siste oppfinnelsen mennesket noensinne trenger å lage.

Elon Musk, som investerte tidlig i DeepMind og slo seg sammen med en liten gruppe megainvestorer, inkludert Peter Thiel og Sam Altman, for å senke 1 milliard dollar i OpenAI, har laget en personlig merkevare ut fra villøyne spådommer. Men når han snakker, lytter millioner. For noen måneder siden fortalte han det til New York Times superhuman AI er mindre enn fem år unna . Det kommer til å være over oss veldig raskt, sa han på Lex Fridman podcast . Da må vi finne ut hva vi bør gjøre, hvis vi i det hele tatt har det valget.

I mai, Pesenti skutt tilbake . Elon Musk aner ikke hva han snakker om, tvitret han. Det finnes ikke noe som heter AGI, og vi er ikke i nærheten av å matche menneskelig intelligens. Musk svarte: Facebook suger.

Slike oppblussinger er ikke uvanlige. Her er Andrew Ng , tidligere leder for AI hos Baidu og medgründer av Google Brain: La oss kutte ut AGI-tullet og bruke mer tid på de presserende problemene.

Og Julian Togelius , en AI-forsker ved New York University: Belief in AGI is like belief in magi. Det er en måte å forlate rasjonell tanke på og uttrykke håp/frykt for noe som ikke kan forstås. Bla gjennom #noAGI hashtaggen på Twitter og du vil fange mange av AIs tunge slagere som veier inn, inkludert Yann LeCun , Facebooks sjef for AI-forsker, som vant Turing-prisen i 2018.

Men med AIs siste rekke av suksesser, fra brettspillmesteren AlphaZero til den overbevisende falske tekstgeneratoren GPT-3, har praten om AGI økt. Selv om disse verktøyene fortsatt er veldig langt fra å representere generell intelligens – AlphaZero kan ikke skrive historier og GPT-3 kan ikke spille sjakk, enn si forstå hvorfor historier og sjakk betyr noe for folk – er målet om å bygge en AGI, som en gang ble ansett som gal, i ferd med å bli akseptabelt. en gang til.

Noen av de største og mest respekterte AI-laboratoriene i verden tar dette målet veldig alvorlig. OpenAI har sagt at det vil være det den første som bygde en maskin med menneskelignende resonneringsevner . DeepMinds uoffisielle, men mye gjentatte målsetning er å løse intelligens . Toppfolk i begge selskapene diskuterer gjerne disse målene når det gjelder AGI.

Et halvt århundre senere er vi fortsatt ikke i nærheten av å lage en AI med multitasking-evnene til et menneske – eller til og med et insekt.

Å snakke om AGI på begynnelsen av 2000-tallet satte deg på den gale kanten, sier Legg. Selv da vi startet DeepMind i 2010, fikk vi forbløffende mye øye-rulling på konferanser. Men ting er i endring. Noen mennesker er ukomfortable med det, men det kommer inn fra kulden, sier han.

Så hvorfor er AGI kontroversiell? Hvorfor spiller det noen rolle? Og er det en hensynsløs, villedende drøm – eller det endelige målet?

Hva er AGI?

Begrepet har vært populært i litt mer enn et tiår, men ideene det innkapsler har eksistert i en mannsalder.

Sommeren 1956 kom et titalls forskere sammen ved Dartmouth College i New Hampshire for å jobbe med det de trodde ville være et beskjedent forskningsprosjekt. Pitching workshopen på forhånd, AI-pionerene John McCarthy, Marvin Minsky, Nat Rochester og Claude Shannon skrev : Studien skal fortsette på grunnlag av formodningen om at alle aspekter ved læring eller andre funksjoner ved intelligens i prinsippet kan beskrives så nøyaktig at en maskin kan simuleres. Det vil bli gjort et forsøk på å finne hvordan man kan få maskiner til å bruke språk, danne abstraksjoner og konsepter, løse typer problemer som nå er forbeholdt mennesker, og forbedre seg selv. De regnet med at dette ville ta 10 personer to måneder.

Spol frem til 1970 og her er Minsky igjen, uforferdet: Om tre til åtte år vil vi ha en maskin med den generelle intelligensen til et gjennomsnittlig menneske. Jeg mener en maskin som vil kunne lese Shakespeare, smøre en bil, spille kontorpolitikk, fortelle en vits, slåss. På det tidspunktet vil maskinen begynne å utdanne seg selv med fantastisk hastighet. Om noen måneder vil den være på geninivå, og noen måneder etter det vil dens krefter være uberegnelige.

Tre ting skiller seg ut i disse visjonene for AI: en menneskelignende evne til å generalisere, en overmenneskelig evne til å forbedre seg selv i en eksponentiell hastighet, og en superstor del av ønsketenkning. Et halvt århundre senere er vi fortsatt ikke i nærheten av å lage en AI med multitasking-evnene til et menneske – eller til og med et insekt.

GETTY BILDER

Det betyr ikke at det ikke har vært store suksesser. Mange av elementene på den tidlige bucket-listen har blitt krysset av: vi har maskiner som kan bruke språk, se og løse mange av problemene våre. Men AI-ene vi har i dag er ikke menneskelignende på den måten som pionerene forestilte seg. Dyplæring, teknologien som driver AI-boomen, trener maskiner til å bli mestere i en lang rekke ting – som å skrive falske historier og spille sjakk – men bare én om gangen.

Da Legg foreslo begrepet AGI til Goertzel for boken hans fra 2007, satte han kunstig generell intelligens mot denne smale, mainstream ideen om AI. Folk hadde brukt flere relaterte termer, som sterk AI og ekte AI, for å skille Minskys visjon fra AI-en som hadde kommet i stedet.

Å snakke om AGI var ofte ment å antyde at AI hadde feilet, sier Joanna Bryson, en AI-forsker ved Hertie School i Berlin: Det var tanken at det var folk som bare gjorde slike kjedelige ting, som maskinsyn, men vi her – og jeg var en av dem på den tiden – prøver fortsatt å forstå menneskelig intelligens, sier hun. Sterk AI, kognitiv vitenskap, AGI – dette var våre forskjellige måter å si: ‘Dere har skrudd opp; vi går fremover.'

Denne ideen om at AGI er det sanne målet for AI-forskning er fortsatt aktuell. Et fungerende AI-system blir snart bare et stykke programvare – Brysons kjedelige ting. I mellomtiden blir AGI en stand-in for enhver AI vi bare ikke har funnet ut hvordan vi skal bygge ennå, alltid utenfor rekkevidde.

Relatert historie

Hva er maskinlæring?

Maskinlæringsalgoritmer finner og bruker mønstre i data. Og de styrer stort sett verden.

Noen ganger snakker Legg om AGI som et slags multiverktøy – én maskin som løser mange forskjellige problemer, uten at en ny må designes for hver ekstra utfordring. På den måten ville den ikke vært mer intelligent enn AlphaGo eller GPT-3; det ville bare ha flere muligheter. Det ville være en generell AI, ikke en fullverdig etterretning. Men han snakker også om en maskin du kan samhandle med som om den var en annen person. Han beskriver en slags ultimate lekekamerat: Det ville vært fantastisk å samhandle med en maskin og vise den et nytt kortspill og få den til å forstå og stille deg spørsmål og spille spillet med deg, sier han. Det ville vært en drøm som gikk i oppfyllelse.

Når folk snakker om AGI, er det vanligvis disse menneskelignende evnene de har i tankene. Thore Graepel , en kollega av Legg's ved DeepMind, liker å bruke et sitat fra science fiction-forfatteren Robert Heinlein, som ser ut til å speile Minskys ord: Et menneske skal kunne skifte bleie, planlegge en invasjon, slakte en hog, conn a ship, designe en bygning, skrive en sonett, balansere kontoer, bygge en mur, sette et bein, trøste den døende, ta imot ordre, gi ordre, samarbeide, handle alene, løse ligninger, analysere et nytt problem, sette opp gjødsel, programmere en datamaskin, lage mat et velsmakende måltid, kjempe effektivt, dø galant. Spesialisering er for insekter.

Og likevel, morsomt faktum: Graepels gå-til-beskrivelse snakkes av en karakter kalt Lazarus Long i Heinleins roman fra 1973 Tid nok for kjærlighet . Long er en slags supermann, resultatet av et genetisk eksperiment som lar ham leve i hundrevis av år. I løpet av den lange tiden lever lenge mange liv og mestrer mange ferdigheter. Minsky beskriver med andre ord evnene til et typisk menneske; Det gjør ikke Graepel.

Målstolpene for søket etter AGI skifter stadig på denne måten. Hva mener folk når de snakker om menneskelignende kunstig intelligens – menneske som deg og meg, eller menneskelig som Lazarus Long? For Pesenti er denne tvetydigheten et problem. Jeg tror ikke noen vet hva det er, sier han. Mennesker kan ikke gjøre alt. De kan ikke løse alle problemer - og de kan ikke gjøre seg selv bedre.

Go-mester Lee Sedol (til venstre) håndhilser på DeepMind-medgründer Demis Hassabis

GETTY

Hva så kanskje en AGI være som i praksis? Å kalle det menneskelignende er på en gang vagt og for spesifikt. Mennesker er det beste eksemplet på generell intelligens vi har, men mennesker er også høyt spesialiserte. Et raskt blikk på tvers av dyrenes varierte univers – fra den kollektive erkjennelsen som sees hos maur til problemløsningsferdighetene til kråker eller blekkspruter til den mer gjenkjennelige, men fortsatt fremmede intelligensen til sjimpanser – viser at det er mange måter å bygge en generell intelligens på. .

Selv om vi bygger en AGI, kan det hende vi ikke helt forstår den. Dagens maskinlæringsmodeller er typisk svarte bokser, noe som betyr at de kommer frem til nøyaktige resultater gjennom beregningsveier som ingen mennesker kan forstå. Legg til selvforbedrende superintelligens til blandingen, og det er klart hvorfor science fiction ofte gir de enkleste analogiene.

Noen vil også lasso bevissthet eller sansen inn i kravene til en AGI. Men hvis intelligens er vanskelig å fastslå, er bevisstheten enda verre. Filosofer og forskere er ikke klare på hva det er i oss selv, enn si hva det ville vært i en datamaskin. Intelligens krever sannsynligvis en viss grad av selvbevissthet, en evne til å reflektere over ditt syn på verden, men det er ikke nødvendigvis det samme som bevissthet – hva det føles liker å oppleve verden eller reflektere over ditt syn på den. Selv AGIs mest trofaste er agnostikere når det gjelder maskinbevissthet.

Hvordan lager vi en AGI?

Legg har jaget etterretning hele karrieren. Etter Webmind jobbet han med Marcus Hutter ved Universitetet i Lugano i Sveits på en doktorgradsavhandling kalt Machine Super Intelligence . Hutter (som nå også er på DeepMind) jobbet med en matematisk definisjon av intelligens som bare var begrenset av fysikkens lover – en ultimat generell intelligens.

Shane Legg

DYPT SINN

Paret publiserte en ligning for det de kalte universell intelligens , som Legg beskriver som et mål på evnen til å nå mål i et bredt spekter av miljøer. De viste at deres matematiske definisjon var lik mange teorier om intelligens som finnes i psykologi, som også definerer intelligens i form av generalitet.

Hos DeepMind gjør Legg sitt teoretiske arbeid om til praktiske demonstrasjoner, og starter med AI-er som oppnår bestemte mål i bestemte miljøer, fra spill til proteinfolding .

Den vanskelige delen kommer deretter: å sette sammen flere evner. Dyplæring er den mest generelle tilnærmingen vi har, ved at én dyplæringsalgoritme kan brukes til å lære mer enn én oppgave. AlphaZero brukte den samme algoritmen for å lære Go, shogi (et sjakklignende spill fra Japan) og sjakk. DeepMind sin Atari57-systemet brukte den samme algoritmen for å mestre alle Atari-videospill. Men AI-ene kan fortsatt bare lære én ting om gangen. Etter å ha mestret sjakk, må AlphaZero tørke hukommelsen og lære shogi fra bunnen av.

Legg refererer til denne typen generalitet som én-algoritme, kontra én-hjerne-generaliteten mennesker har. En-algoritme-generalitet er veldig nyttig, men ikke like interessant som en-hjerne-typen, sier han: Du og jeg trenger ikke bytte hjerne; vi bruker ikke sjakkhjernene våre for å spille et parti sjakk.

Å gå fra én-algoritme til én-hjerne er en av de største åpne utfordringene innen AI. En en-hjerne AI vil fortsatt ikke være en ekte intelligens, bare en bedre generell AI – Legs multiverktøy. Men uansett om de skyter etter AGI eller ikke, er forskere enige om at dagens systemer må gjøres mer generelle, og for de som har AGI som mål, er en generell AI et nødvendig første skritt. Det er en lang liste over tilnærminger som kan hjelpe. De spenner fra fremvoksende teknologi som allerede er her til mer radikale eksperimenter (se boks). Omtrent i rekkefølge etter modenhet er de:

• Uovervåket eller selvstyrt læring. Merking av datasett (f.eks. merking av alle bilder av katter med katt) for å fortelle AI-er hva de ser på under trening er nøkkelen til det som kalles overvåket læring. Det gjøres fortsatt stort sett for hånd og er en stor flaskehals. AI må være i stand til å lære seg selv uten menneskelig veiledning – for eksempel se på bilder av katter og hunder og lære å skille dem fra hverandre uten hjelp, eller oppdage uregelmessigheter i finansielle transaksjoner uten å ha tidligere eksempler flagget av et menneske. Dette, kjent som uovervåket læring, blir nå mer vanlig.
• Overfør læring, inkludert få-skuddslæring. De fleste dyplæringsmodeller i dag kan trenes til kun å gjøre én ting om gangen. Overføringslæring har som mål å la AI-er overføre deler av treningen for én oppgave, for eksempel å spille sjakk, til en annen, for eksempel å spille Go. Det er slik mennesker lærer.
• Sunn fornuft og kausal slutning. Det ville vært lettere å overføre trening mellom oppgaver hvis en AI hadde et grunnfjell av sunn fornuft å starte fra. Og en sentral del av sunn fornuft er å forstå årsak og virkning. Å gi sunn fornuft til AI-er er et hett forskningstema for øyeblikket, med tilnærminger som spenner fra å kode enkle regler inn i et nevralt nettverk til begrenser mulige spådommer som en AI kan gjøre . Men arbeidet er fortsatt i startfasen.
• Læringsoptimalisatorer . Dette er verktøy som kan brukes til å forme måten AI-er lærer på, og veilede dem til å trene mer effektivt. Nylig arbeid viser at disse verktøyene kan være trent selv – Faktisk betyr det at én AI brukes til å trene andre. Dette kan være et lite skritt mot selvforbedrende AI, et AGI-mål.

Alle disse forskningsområdene er bygget på toppen av dyp læring, som fortsatt er den mest lovende måten å bygge AI på for øyeblikket. Dyplæring er avhengig av nevrale nettverk, som ofte beskrives som hjernelignende ved at deres digitale nevroner er inspirert av biologiske. Menneskelig intelligens er det beste eksemplet på generell intelligens vi har, så det er fornuftig å se på oss selv for inspirasjon.

Men hjerner er mer enn ett massivt virvar av nevroner. De har separate komponenter som samarbeider.

Hassabis, for eksempel, studerte hippocampus, som behandler hukommelse, da han og Legg møttes. Hassabis tror generell intelligens i menneskelige hjerner delvis kommer fra interaksjon mellom hippocampus og cortex . Denne ideen førte til at DeepMinds Atari-spill spilte AI, som bruker en hippocampus-inspirert algoritme , kalt DNC ​​(differensial neural computer), som kombinerer et nevralt nettverk med en dedikert minnekomponent.

Kunstige hjernelignende komponenter som DNC er noen ganger kjent som kognitive arkitekturer. De spiller en rolle i andre DeepMind AI-er som AlphaGo og AlphaZero, som kombinerer to separate spesialiserte nevrale nettverk med søketrær, en eldre form for algoritme som fungerer litt som et flytskjema for beslutninger. Språkmodeller som GPT-3 kombinerer et nevralt nettverk med et mer spesialisert nettverk kalt en transformator, som håndterer sekvenser av data som tekst.

Til syvende og sist koker alle tilnærmingene for å nå AGI ned til to brede tankeretninger. Den ene er at hvis du får algoritmene riktig, kan du ordne dem i den kognitive arkitekturen du vil. Laboratorier som OpenAI ser ut til å stå ved denne tilnærmingen, og bygge større og større maskinlæringsmodeller som kan oppnå AGI med brute force .

Den andre skolen sier at en fiksering på dyp læring holder oss tilbake. Hvis nøkkelen til AGI er å finne ut hvordan komponentene i en kunstig hjerne skal fungere sammen, så fokuserer man for mye på selve komponentene – de dype læringsalgoritmene – å savne treet for trærne. Få den kognitive arkitekturen riktig, og du kan plugge inn algoritmene nesten som en ettertanke. Dette er tilnærmingen foretrukket av Goertzel, hvis OpenCog prosjektet er et forsøk på å bygge en åpen kildekode-plattform som vil passe forskjellige brikker av puslespillet inn i en AGI-helhet. Det er også en vei som DeepMind utforsket da den kombinerte nevrale nettverk og søketrær etter AlphaGo.

USPLASH

Min personlige følelse er at det er noe mellom de to, sier Legg. Jeg mistenker at det er et relativt lite antall nøye utformede algoritmer som vi vil kunne kombinere sammen for å være virkelig kraftige.

Goertzel er ikke uenig. Dybden av å tenke på AGI hos Google og DeepMind imponerer meg, sier han (begge firmaene eies nå av Alphabet). Hvis det er et stort selskap som kommer til å få det, vil det være dem.

Ikke hold pusten, men. Satt av å ha undervurdert utfordringen i flere tiår, er det få andre enn Musk som liker å gjette på når (om noen gang) AGI kommer. Selv Goertzel vil ikke risikere å feste målene sine til en bestemt tidslinje, selv om han ville si det før heller enn senere. Det er ingen tvil om at raske fremskritt innen dyp læring – og spesielt GPT-3 – har økt forventningene ved å etterligne visse menneskelige evner. Men mimikk er ikke intelligens. Det er fortsatt veldig store hull i veien foran, og forskerne har fortsatt ikke skjønt dybden deres, enn si funnet ut hvordan de skal fylles.

Men hvis vi fortsetter å bevege oss raskt, hvem vet? sier Legg. Om noen tiår kan vi ha noen veldig, veldig dyktige systemer.

Hvorfor er AGI kontroversielt?

Noe av grunnen til at ingen vet hvordan man bygger en AGI er at få er enige om hva det er. De forskjellige tilnærmingene reflekterer forskjellige ideer om hva vi sikter mot, fra multiverktøy til overmenneskelig AI. Små skritt gjøres for å gjøre AI mer generell, men det er en enorm kløft mellom et generellt verktøy som kan løse flere forskjellige problemer og et som kan løse problemer som mennesker ikke kan – Goods siste oppfinnelse. Det er tonnevis med fremgang i AI, men det betyr ikke at det er noen fremgang i AGI, sier Andrew Ng.

Uten bevis på noen av sidene om hvorvidt AGI er oppnåelig eller ikke, blir problemet et spørsmål om tro. Det føles som de argumentene i middelalderens filosofi om man kan få plass til et uendelig antall engler på hodet til en nål, sier Togelius. Det gir ingen mening; dette er bare ord.

Goertzel bagatelliserer snakk om kontrovers. Det er folk i ytterkanter på begge sider, sier han, men det er mange mennesker i midten også, og menneskene i midten har ikke en tendens til å bable så mye.

AGI-verdenen er fylt med forskere som utforsker de ytre delene av hvordan man bygger en superintelligens.

• Fremvoksende intelligens

  Kristinn Thórisson utforsker hva som skjer når enkle programmer omskriver andre enkle programmer for å produsere enda flere programmer. Han er interessert i den komplekse atferden som oppstår fra enkle prosesser som må utvikles av seg selv.

• Universell intelligens

  Arthur Franz prøver å ta Marcus Hutters matematiske definisjon av AGI, som antar uendelig datakraft, og strippe den ned til kode som fungerer i praksis.

• Åpen intelligens

  David Weinbaum er en forsker som jobber med intelligenser som går videre uten gitte mål . Tanken er at belønningsfunksjoner som de som vanligvis brukes i forsterkende læring begrenser en AIs fokus. Weinbaum jobber med måter å utvikle intelligens som fungerer utenfor et spesifikt problemdomene og rett og slett tilpasser seg formålsløst til omgivelsene.

Goertzel plasserer en AGI-skeptiker som Ng i den ene enden og seg selv i den andre. Siden sine dager i Webmind har Goertzel kurtisert media som en galjonsfigur for AGI-kanten. Han driver AGI-konferansen og leder en organisasjon kalt SingularityNet,som han beskriversom et slags Webmind på blockchain. Fra 2014 til 2018 var han også sjefforsker ved Hanson Robotics, det Hong Kong-baserte firmaet som avduket en snakkende humanoid robot kalt Sophia i 2016. Merfornøyelsespark utstillingsdukkeenn banebrytende forskning, fikk Sophia Goertzel-overskrifter over hele verden. Men selv han innrømmer at det bare er en teatralsk robot, ikke en AI. Goertzels spesielle showmanship har fått mange seriøse AI-forskere til å distansere seg fra hans ende av spekteret.

I midten hadde han satt folk som Yoshua Bengio, en AI-forsker ved University of Montreal som var medvinner av Turing Award med Yann LeCun og Geoffrey Hinton i 2018. I en 2014 hovedforedrag på AGI-konferansen foreslo Bengio at det er mulig å bygge en AI med intelligens på menneskelig nivå fordi den menneskelige hjernen er en maskin – en som bare trenger å finne ut av. Men han er ikke overbevist om superintelligens - en maskin som overgår menneskesinnet. Uansett tror han at AGI ikke vil bli oppnådd med mindre vi finner en måte å gi datamaskiner sunn fornuft og kausal slutning.

Ng insisterer imidlertid på at han heller ikke er imot AGI. Jeg synes AGI er superspennende, jeg vil gjerne komme dit, sier han. Hvis jeg hadde massevis av fritid, ville jeg jobbet med det selv. Da han var på Google Brain og dyp læring gikk fra styrke til styrke, lurte Ng – som OpenAI – på om det å skalere opp nevrale nettverk kunne være en vei til AGI. Men dette er spørsmål, ikke utsagn, sier han. Der AGI ble kontroversielt er når folk begynte å komme med spesifikke påstander om det.

En enda mer splittende sak enn hybrisen om hvor snart AGI kan oppnås, er skremselspropaganda om hva den kan gjøre hvis den slippes løs. Her uskarpes spekulasjoner og science fiction snart. Musk sier AGI vil være farligere enn atomvåpen. Hugo de Garis, en AI-forsker nå ved Wuhan University i Kina, spådde på 2000-tallet at AGI ville føre til en verdenskrig og milliarder av dødsfall innen slutten av århundret. Gudlignende maskiner, som han kalte artilekter, ville alliere seg med menneskelige støttespillere, kosmistene, mot en menneskelig motstand, Terrans.

Tro på AGI er som tro på magi. Det er en måte å forlate rasjonell tanke på og uttrykke håp/frykt for noe som ikke kan forstås.

Det hjelper absolutt ikke den pro-AGI-leiren når noen som de Garis, som også er en åpenhjertig tilhenger av maskuistiske og antisemittiske synspunkter, har en artikkel i Goertzels AGI-bok sammen med en av seriøse forskere som Hutter og Jürgen Schmidhuber – noen ganger kalt faren til moderne AI. Hvis mange i AGI-leiren ser på seg selv som AIs fakkelbærere, ser mange utenfor dem som kortbærende galninger, som kaster tanker om AI inn i en blender med ville påstander om Singularity (point of no return når selvforbedrende maskiner overgår menneskelig intelligens), hjerneopplastinger, transhumanisme og apokalypsen.

Jeg plages ikke av den veldig interessante diskusjonen om intelligens, som vi burde ha mer av, sier Togelius. Jeg er plaget av den latterlige ideen om at programvaren vår plutselig en dag vil våkne opp og ta over verden.

Hvorfor spiller det noen rolle?

For noen tiår siden, da AI ikke klarte å leve opp til hypen til Minsky og andre, krasjet feltet mer enn én gang. Finansiering forsvant; forskere gikk videre. Det tok mange år før teknologien kom ut av det som ble kjent som AI-vintre og hevdet seg selv. Den hypen er imidlertid fortsatt der.

Alle AI-vintrene ble skapt av urealistiske forventninger, så vi må bekjempe dem ved hver sving, sier Ng. Pesenti er enig: Vi må klare buzzen, sier han.

En mer umiddelbar bekymring er at disse urealistiske forventningene påvirker beslutningstakingen til beslutningstakere. Bryson sier at hun har vært vitne til mye rotete tanker i styrerom og regjeringer fordi folk der har et sci-fi-syn på AI. Dette kan føre til at de ignorerer svært reelle uløste problemer – for eksempel måten rasemessige skjevheter kan bli kodet inn i AI av skjeve treningsdata, mangelen på åpenhet om hvordan algoritmer fungerer, eller spørsmål om hvem som er ansvarlig når en AI tar en dårlig beslutning – til fordel for mer fantastiske bekymringer om ting som en robotovertakelse.

Hypen får også investorer til å begeistre. Musks penger har bidratt til å finansiere reell innovasjon, men når han sier at han vil finansiere arbeid med eksistensiell risiko, oppfordrer det forskere til å snakke om trusler i fremtiden. Noen av dem tror virkelig på det; noen av dem er bare ute etter pengene og oppmerksomheten og hva annet, sier Bryson. Og jeg vet ikke om alle er helt ærlige med seg selv om hvem de er.

Tillokkelsen til AGI er ikke overraskende. Selvrefleksjon og skapelse er to av de mest menneskelige aktivitetene. Drivkraften til å bygge en maskin i vårt bilde er uimotståelig. Mange mennesker som nå er kritiske til AGI flørtet med det i sine tidligere karrierer. I likhet med Goertzel brukte Bryson flere år på å prøve å lage en kunstig pjokk. I 2005 arrangerte Ng en workshop på NeurIPS (den gang kalt NIPS), verdens viktigste AI-konferanse, med tittelen Towards human-level AI? Det var dumt, sier Ng. LeCun, nå en hyppig kritiker av AGI-skravling, holdt en keynote.

Disse forskerne gikk videre til mer praktiske problemer. Men takket være fremgangen de og andre har gjort, stiger forventningene igjen. Mange i feltet forventet ikke så mye fremgang som vi har hatt de siste årene, sier Legg. Det har vært en drivkraft for å gjøre AGI mye mer troverdig.

Selv AGI-skeptikerne innrømmer at debatten i det minste tvinger forskere til å tenke på retningen til feltet generelt i stedet for å fokusere på neste nevrale nettverkshack eller benchmark. Seriøst å vurdere ideen om AGI tar oss til virkelig fascinerende steder, sier Togelius. Kanskje det største fremskrittet vil være å foredle drømmen, prøve å finne ut hva drømmen dreide seg om.

gjemme seg