Podcast: Hvordan spill lærer AI å lære selv

AI-spillhistorie

Ms Tech | Unsplash





Fra sjakk til Jeopardy til e-sport, AI slår i økende grad mennesker på deres egne spill. Men det var aldri det endelige målet. I denne første episoden av sesong tre av In Machines We Trust graver vi inn i det symbiotiske forholdet mellom spill og AI. Vi møter de store aktørene i rommet, og vi tar en tur til en arkade.

I denne episoden møter vi:

  • Julian Togelius, førsteamanuensis, Institutt for informatikk og ingeniørvitenskap, New York University
  • Will Douglas-Heaven, seniorredaktør for AI, MIT Technology Review
  • David Silver, hovedforsker ved DeepMind, professor ved University College London.
  • David Fahri, ledende forsker, Open AI

For å lage denne episoden snakket vi også med Natasha Regan, aktuar ved RPC Tyche, Chess WIM og medforfatter av 'Game Changer'.

Lyder fra:

Studiepoeng:

Denne episoden ble rapportert av Jennifer Strong og Will Douglas Heaven og produsert av Anthony Green, Emma Cillekens og Karen Hao. Vi er redigert av Niall Firth, Michael Reilly og Mat Honan. Vår miksingeniør er Garret Lang. Lyddesign og musikk av Jacob Gorski.



Full utskrift:

[TR ID]

[SOT: Jeopardy kunngjør Watson Challenge]

Trebeck: I dag kunngjør vi en Jeopardy-konkurranse ulikt noe vi noen gang har presentert før.



Jennifer: For ti år siden avduket TV-quizprogrammet Jeopardy en ny spiller...

Trebeck: Det er en utstillingskamp med to av de største trusselspillerne i historien... deres utfordrer? Vel, han heter Watson.

Dokumentarannonsør: [musikk] Watson er en IBM-datamaskin designet for å spille Jeopardy. Watson forstår naturlig språk med all dets tvetydighet og kompleksitet.



Jennifer: Og kanskje ikke overraskende... gitt at det er å spille Jeopardy tingen den ble designet for å gjøre... Watson var god. Veldig bra.

[SOT: Montage of Watson Jeopardy svarer.]

Trebek: Watson.



Watson: Hva er istanbul.

Trebek: Du har rett.

Trebek: Watson.

Watson: Hva er parlamentet.

Trebek: Ikke sant.

Trebek: Watson.

Watson: Hva er gammelgresk.

Trebek: Watson, tilbake til deg.

Jennifer: Etter tre netter med dette vant Watson… slo de to beste spillerne i spillseriens historie… Fra sjakk til Jeopardy til e-sport… AI slår mennesker på sine egne kamper… (så å si)… men det var aldri det endelige målet. Forskere prøver å bygge intelligente systemer som er mer nyttige og generelle formål enn noe vi har.

David Silver: Hvis menneskehjernen kan løse alle slags forskjellige oppgaver, kan vi da bygge programmer som kan gjøre det samme?

Jennifer: Jeg er Jennifer Strong, og denne episoden graver vi i det symbiotiske forholdet mellom spill og AI. For så lenge det har vært AI-forskning, har spill vært en del av det. Vi møter de store aktørene i rommet... og vi tar en tur til en arkade.

{Spill lyder}

Karen Hao: På en måte har spill litt overhypet AI-evner, fordi...

Jennifer: Det er min kollega Karen Hao...

Karen Hao: Mange tror nå at AI er mye mer kapabel enn det faktisk er, men spill er faktisk en demonstrasjon av utrolig smal intelligens. Og vi er nå på en måte fanget i denne syklusen hvor AI-forskning spesifikt går denne veien med flere og mer avanserte spill uten å faktisk gå til mer og mer avanserte, komplekse situasjoner i den virkelige verden, miljøer ... som er det vi faktisk trenger.

{Spill lyder}

[VIS ID]

OC:...du har nådd målet ditt.

Julian Togelius: Spill har vært en del av AI siden AI startet, eller som siden selve ideen om AI startet.

Jennifer: Julian Togelius er professor og informatiker bosatt i New York City...

Julian Togelius: Jeg jobber med AI for å gjøre spill bedre og også spill for å gjøre AI bedre.

Jennifer: Han gir meg en historietime om dette forholdet mellom spill og AI ... og på en eller annen måte klarer han å gjøre det samtidig som han spiller noen videospill han har jobbet med.

Julian Togelius: Jeg jobber spesielt med videospill og slags moderne videospill fordi egentlig sjakk og Go og alt det der... Jeg mener, vi er liksom ferdige med det. Det er som, jeg mener, [latter] for ikke å ta motet fra folk som liker å spille sjakk og liker å spille Go eller poker for den mentale utfordringen. Det er greit. Men du vet, det er så mange flere muligheter, så mange flere interessante utfordringer i de andre spillene.

Jennifer: Hvordan kom du inn på dette feltet?

Julian Togelius: Ja. Så da moren min ga bort kattene mine, [latter] er det sant! Jeg mener, hun, hun ble allergisk, og så hva skal du gjøre? Så hun ga meg en datamaskin før en Commodore 64, og jeg begynte å spille alle disse spillene, og jeg ble virkelig fascinert av disse små, små verdenene. Og så ble jeg voksen... vel, mer eller mindre. [latter] Uh, jeg vokste opp, jeg fullførte videregående. Jeg begynte å studere filosofi og psykologi. Jeg var interessert i, hvordan fungerer sinnet? Hva er forholdet mellom bevissthet og intelligens, og hvordan oppstår det hele?

Jennifer: Disse spørsmålene brakte ham til en tidlig oppgave av den banebrytende informatikeren Alan Turing... Han var den første som beviste at det til og med var matematisk mulig å bygge en datamaskin.

Julian Togelius: Den avisen handler i stor grad om spill. Det handler om Imitation Game, det som nå kalles en Turing-test, hvor du prøver å finne ut om noen du chatter med egentlig – det ble ikke kalt chatting på femtitallet – om noen du snakker via tekstmelding med er en datamaskin eller et menneske. Det handler også om sjakk. Fordi sjakk veldig tidlig ble et kjernefokus i forskningen på kunstig intelligens.

Jennifer: Vi tenker på at folk som spiller sjakk har et visst nivå av intelligens … og derfor ble spillet en måte å måle hvor intelligente maskiner også er.

Og... morsomme fakta? Det aller første sjakkspilleprogrammet ble skrevet før det fantes til og med en datamaskin for å kjøre den. Turing spilte det i 1950 ... ved hjelp av en algoritme utarbeidet på papiret.

(Det fungerte ikke veldig bra.)

Men folk fortsatte å fremme denne forskningen i flere tiår.

Og så, i 1997, slo I-B-Ms Deep Blue-datamaskin Garry Kasparov... den regjerende verdensmesteren i sjakk.

[SOT] - Deep Blue slo Garry Kasparov i Game Six via YouTube

Kommentator 2: Mangler vi noe på sjakkbrettet nå som Kasparov ser? Han ser ikke ut.. han ser avsky ut faktisk.

Kommentator 1: Whoah!

Kommentator 2: Mørkeblå! Kasparov, etter flyttingen C4, har trukket seg!

[Bifall]

Julian Togelius: Og dette var en stor intellektuell begivenhet folk tenkte, ok, hva nå? Løste vi nettopp kunstig intelligens? Og det viser seg at nei, det gjorde du ikke fordi dette sjakkspillingsprogrammet ikke engang kunne spille dam uten betydelig omprogrammering. Den kunne ikke spille Go. Den kunne ikke spille mange ting. Og enda mer, den kunne ikke knyte skolissene. Den kunne ikke koke makaroni. Den kunne ikke skrive et kjærlighetsdikt. Den kunne ikke gå ut og kjøpe en avis. Den kunne ikke gjøre noen av disse tingene som mennesker gjør hele tiden. Det kunne bokstavelig talt bare gjøre én ting. Den kunne spille sjakk. Den var jævla god på det, men den kunne egentlig bare spille sjakk.

Jennifer: Så, mennesker hadde løst det som ble antatt å være den største utfordringen med å skape intelligens ... men når du så under panseret på programmet ... sier han at det egentlig bare var en slags søk.

Julian Togelius: Hva om jeg tar dette trekket? Og så, hva om min motstander tar dette trekket, hva om jeg tar dette trekket? Så vi hadde bygget et tre av muligheter og motmuligheter og regnet ut fra det. Det var faktisk mye mer komplisert enn som så, men det er hjertet av det den gjorde. Og folk så på det som at dette ikke virker som noe som hvordan hjernen vår fungerer. Jeg mener, vi vet egentlig ikke hvordan hjernen vår fungerer, men uansett hva de gjør, er det ikke dette. [latter]

Jennifer: Men den brukes ikke BARE til å spille spill mot mennesker... AI dukker opp i spill på alle mulige måter. Spesielt for å gjøre dem mer interessante og utfordrende.

For eksempel…. AI endrer deler av videospill... slik at de er forskjellige hver gang vi spiller dem, og det har vært tilfelle siden 19-80-tallet.

Julian Togelius: Og dette prinsippet om å alltid skape noe nytt... og hver gang du spiller spillet er det nytt... har overlevd i mange forskjellige spill. For eksempel er Diablo-serien med spill basert på det, eller Civilization-serien med strategispill. Hver gang du spiller det har du en helt ny verden, og det er kjernen i spillet. Det ville bare ikke vært det samme hvis du ikke gjorde det.

Jennifer: En annen grunn til å gjøre dette er på grunn av lagring ... og han sier at et spill kalt Elite ble en viktig milepæl ... da det ble gjort tilgjengelig for personlige datamaskiner, inkludert Commodore 64.

Julian Togelius: Det kunne umulig passet inn i minnet i denne datamaskinen. Så en versjon hadde 4096 forskjellige stjernesystemer. Nå, hvis du bare hadde 64 000 byte med minne og forestille deg, tenk på hvor lite det er, det er en milliondel av en datamaskin du kan kjøpe i dag. Så de måtte gjenskape stjernesystemet hver gang du kom dit. Bygg det opp fra bunnen av.

Jennifer: Og det er fortsatt tilfelle nå. Jada, vi har mye mer lagringsplass. Men spill er også mye, mye større og mer komplekse.

Julian Togelius: Spillet til No Man's Sky, som kom ut 2016, men de oppdaterer det hele tiden - det blir stadig mer og mer imponerende. Den har flere planeter i seg enn du noen gang kan besøke i løpet av livet, men det passer på en eller annen måte i datamaskinen din fordi de gjenskapes hver gang du ser dem.

Jennifer: I mellomtiden har forskere også fortsatt å bygge AI-er for spill ... og Togelius sier at en av de neste utfordringene i det området vil være for dem å spille mange spill samtidig ... fordi multitasking er noe mennesker gjør bra ... men det er ennå ikke tilfelle for disse systemene.

Så, hvordan kommer vi fra disse svært strukturerte miljøene med mye forutsigbarhet... til noe som er nærmere det virkelige liv, som er rotete og kaotisk og slett ikke forutsigbart.

Til ham og andre forskere...? Vi spiller flere spill.

Julian Togelius: Hvis vi hadde et system som pålitelig kunne spille, som med en viss ferdighet, de hundre beste spillene på en toppliste for dataspill, som Steam eller AppStore eller noe, så ville vi ha noe som ligner på generell intelligens.

Jennifer: Så på noen måter ... er vi fortsatt der vi var for et halvt århundre siden ... og tenker at vi kanskje bare finner nøkkelen til generell intelligens med AI-systemer som kan slå mennesker i deres eget spill.

[beat / musikk]

Men vi blander også spill og kunstig intelligens på alle mulige andre måter...som for å hjelpe oss med treningsdata.

For noen år siden møtte jeg et team på Princeton som prøvde å gjøre stoppskilt mer gjenkjennelige for selvkjørende biler … ved å bruke spillet Grand Theft Auto.

Hvor rart det kan høres ut... det er faktisk ganske praktisk når du tenker på hvor mange forskjellige måter en sjåfør kan komme over et stoppskilt i den virkelige verden på... det være seg på en pinne i bakken... hengende i luften... eller malt på fortauet... og vi møter dem i all slags lys og vær... noen ganger delvis skjult av tregrener... eller nattens mørke.

Forskere kan lete etter eksempler på alle disse stoppskiltene ... eller videospill kan bare generere uendelige eksempler.

Vi bruker også spill for å bedre forstå hvordan algoritmer tar avgjørelser.

[Begynn å få inn lyder fra Arcade. *Frogger-temamusikk og spilling begynner, bytt trekk*]

Jennifer: Vi er på en klassisk arkade i Boston ... fordi den har flere av disse eldre videospillene som brukes til å trene AI-systemer.

Will Douglas-Heaven: Hei, jeg heter Will Douglas-Heaven. Jeg er seniorredaktør for AI i Technology Review... Og jeg kan ikke spille Frogger.

Will Douglas-Heaven: Frogger dukket opp ganske nylig i en annen AI-forskning der de prøvde å få en AI til å forklare seg selv og forklare som hva den gjorde. Um, og de lærte... de trente en AI til å spille dette spillet, og du vet Frogger... Du kan høre fra støyen, jeg feiler stadig.

Så Frogger er dette spillet hvor du er en liten frosk nede på bunnen og du må krysse en vei som har biler som beveger seg på en måte over skjermen til venstre og høyre, og du må liksom unnvike mellom dem. Og så kommer du til en elv og du hopper på baksiden av skilpadder og stokker for å komme til den andre siden uten å falle i som jeg gjorde der. Um, uansett, så er det, det er et spill som har mange klare handlinger du tar ved hvert trinn. Og så når de trente AI-en til å gjøre det, hver gang den tok en handling, fikk de den til å forklare i, hm, på en måte, du vet, menneskelig forståelige termer hvorfor den gjorde det.

[*Spilllydene fortsetter*]

Jennifer: I utgangspunktet spiller AI spillet ... og over tid finner det ut hvordan man lykkes. Tilfeldige trekk utvikler seg til komplekse strategier ... til og med noen vi ikke visste om.

[Fortsett spill lyder under VO ovenfor og også i dette lydstykket]

Will Douglas-Heaven: De kastet AI-ene på disse gamle spillene og viste dem bare skjermene som de ikke ante hvordan de skulle spille. Det var bare piksler på en skjerm, ting skjedde. De prøvde ting og noen ganger sprengte de seg. Noen ganger skjøt de fremmede skip. Og ved å bruke bare slags belønninger fra du vet når de gjorde noe, ikke sant, poengsummen gikk opp, de fant sakte ut hvordan de skulle spille spillet. Og de gikk fra å forstå, ingenting til, i mange tilfeller, på en måte å slå de beste poengsummene til de beste menneskelige spillerne. Og til og med noen virkelig kule eksempler der de faktisk fant måter å slå spillet som mennesker ikke hadde oppdaget.

Jennifer: Et eksempel på dette kommer fra et spill kalt Q*Bert, som setter spillere på en pyramide av firkanter.

Will Douglas-Heaven: Jeg mener den grunnleggende ideen er at du har denne lille fyren som hopper nedover pyramiden fra toppen og lander på rutene. Og når du har endret alle rutene til samme farge, kan du gå videre til neste nivå. Men AI, tror jeg på det første nivået, endret alle fargene på rutene og fortsatte deretter å hoppe opp og ned rutene i stedet for å gå videre til neste nivå. Og den fant en feil i spillet som gjorde at den kunne få en uendelig poengsum på veldig kort tid. Og til og med designerne av spillet var som om jeg ikke har sett den feilen før.

Jennifer: Etter pausen... Vi vil møte noen pionerer bak store gjennombrudd på dette feltet. Men først vil jeg fortelle deg om et arrangement kalt CyberSecure i november. Det er Tech Reviews cybersikkerhetskonferanse, og jeg vil være der sammen med kollegene mine. Du kan lære mer på Cyber ​​Secure M-I-T dot com.

Vi kommer straks tilbake... etter dette.

[MIDROLL]

David Silver: Jeg heter David Silver. Jeg jobber med kunstig intelligens og bruker det på spill. Jeg jobber for et selskap som heter DeepMind, og målet vårt er å prøve å bruke, um, kunstig intelligens for å prøve å bygge et system som har noen av smartene som er inne i den menneskelige hjernen.

Jennifer: DeepMind står i sentrum for dette arbeidet med spill. Det er et forskningslaboratorium som er en del av Googles alfabet.

David Silver: Hvis menneskehjernen kan løse alle slags forskjellige oppgaver, kan vi da bygge programmer som kan gjøre det samme?

Jennifer: Han er hovedforskeren bak noen av de mest kjente AI-systemene som har mestret hvordan man spiller spill ... starter med brettspill, (inkludert det gamle kinesiske strategispillet Go.)

David Silver: Vi utviklet et system kalt AlphaGo, som var det første programmet som kunne spille Go-spillet på nivå med profesjonelle toppspillere. Og faktisk klarte den å slå verdensmesteren Lee Sedol.

David Silver: Og det er denne enorme plassen med spill, hvorav mange har disse vakre egenskapene som lar oss virkelig bare dykke inn og forstå, du vet, en del av verden isolert uten å måtte håndtere all den enorme kompleksiteten i den virkelige verden. alt på en gang.

Jennifer: AlphaGo lærte å spille brettspill basert på hvordan folk spiller.

Silvers neste system, AlphaZero, lærte å spille brettspill og videospill på en annen måte ... ved å lære reglene for et spill og deretter spille seg selv om og om igjen.

David Silver: Etter AlphaGo prøvde vi å ta neste steg og gjøre noe enda mer generelt, som var å kunne spille ikke bare ett spill, men mange spill med samme teknologi. Og dette er et stort springbrett fordi det virkelig prøver å gjøre en av tingene som vi som mennesker er i stand til å gjøre, som er å løse mange problemer ved å bruke de samme typer maskiner inne.

Jennifer: Den er en milepæl i å gjøre AI til mer generell hensikt... Men med et viktig forbehold. Algoritmen kan ikke lære å spille disse spillene på en gang. Det er som om det bygger seg separate hjerner for hvert spill. Så den må bytte ut sjakkhjernen før den spiller Go.

Det er trygt å si at forskere fortsatt prøver å finne ut hvordan man kan gjøre spill til en test for det virkelige liv. Fordi spill har regler som kan defineres... og ingen vet egentlig reglene som verden fungerer etter.

David Silver: Verden er virkelig et rotete sted. Du vet, den har denne utrolig rike dynamikken på gang, alle slags detaljer i måten objekter beveger seg rundt på. Måten tingene vi ser, forholder seg til tingene vi berører. Det er bare denne utrolige rikdommen og kompleksiteten i den virkelige verden. Og vi kan umulig håpe å adressere det på den måten som folk historisk sett har nærmet seg spill. Så det vi trenger er noe som kan forstå verden for seg selv på en måte som forstår mønstrene på en måte som er nyttig for den å ta beslutninger som faktisk er meningsfulle for å bidra til å nå målene.

Jennifer: Hans siste prosjekt heter MuZero. Den utmerker seg med like mange spill som AlphaZero... (samt en hel rekke videospill).

...men dette systemet finner ut hvordan man spiller uten å få noen regler i det hele tatt.

David Silver: Så det var egentlig bare sluppet løs. Den var i stand til å spille kamper mot seg selv. Og alt det fikk på slutten av spillet var et signal om å si, hei, du vant eller hei, du tapte. Og fra det signalet var den i stand til å bygge en forståelse for seg selv av spillereglene nok til at den faktisk kunne forestille seg hva som ville skje inn i fremtiden. Og når den først hadde denne evnen til å forestille seg inn i fremtiden, var det i stand til å søke og begynne å se fremover og begynne å tenke inn i fremtiden og si, aha, nå forstår jeg hvordan denne verden fungerer. Jeg kan begynne å forestille meg hva som ville skje hvis jeg spilte dette trekket eller tok denne handlingen. Og så det er virkelig et nøkkeltrinn vi trenger og noe vi tror er veldig viktig fremover for fremtiden til AI.

Jennifer: Han sier at det ikke er ulikt et spedbarn som tar tak i verden rundt seg... bygger problemløsning og kreative ferdigheter over tid.

David Silver: Jeg tror vi allerede ser eksempler der vi, innenfor begrensede domener, ser algoritmer som for all del er kreative. Jeg mener, hva er kreativitet tross alt annet enn, du vet, evnen til å oppdage en ny idé for seg selv. Og jeg tror det er essensen av kreativitet. Essensen av kreativitet er det algoritmene våre gjør, som er å oppdage trinn for trinn noe nytt og lære gjennom deres erfaring at denne nye ideen de har kommet opp med faktisk er noe som er kraftig og som hjelper den til å oppnå sin mål. Så jeg tror vi vil se mer og mer kreativitet i denne formen i fremtiden. Vi vil se, du vet, maskiner som er i stand til selv å oppdage ideer som hjelper dem å nå mål. Ikke fordi en person har fortalt dem at dette er tingen du trenger for å oppnå det målet, men fordi de har funnet ut av det selv.

Jennifer: Og... den kreativiteten har ført til at AlphaZero har oppdaget nye ting om hvordan man spiller sjakk. Nå…. menneskelige spillere tar det faktisk i bruk i sine egne spill ... kaller det .. 'spiller et alpha null-trekk'.

[SOT: hvordan spille som AlphaZero]

Vert: Velkommen til en annen utgave av How to Attack lLike AlphaZero! Jeg håper du er klar for dagens leksjon...

Jennifer: Det skjer også med e-sport ... som er videospillkonkurranser som ofte spilles foran et live publikum ... ligner på en sportsbegivenhet ... Med et verdensomspennende publikum på nesten en halv milliard seere som stiller inn for å se favorittspillene deres spilles av noen av de beste spillerne i verden.

Også her blir AI brukt på en rekke måter ... som coachingverktøy for å hjelpe folk til å bli bedre til å spille ... og (nok en gang) sikter forskere også på å bruke e-sport for å gjøre AI-systemene deres mer intelligente ...

David Farhi: Vi forestiller oss at det på et tidspunkt vil være generelle kunstige intelligenssystemer som virkelig kan løse problemer raskt, kanskje lære på menneskelig nivå.

Jennifer: David Farhi er en ledende forsker ved Open AI... Forskningslaboratoriet grunnlagt av Elon Musk og en haug med andre Silicon Valley-armaturer.

Det skapte det første systemet som slo verdensmestere i et e-sportspill.

Det spillet heter Defense of the Ancients 2, som alle kaller Dota 2 ... og det er en ny dokumentar om denne seieren ... kalt Artificial Gamer.

[Klipp fra Artificial Gamer-trailer]

[Dramatisk musikk og lyder fra Dota 2-spillet]

Høyttaler 1: Når du ser på Dota-spillet, er det 10 000 plussvariabler i hvert øyeblikk som systemet ditt må ta innover seg.

Høyttaler 2: AI lærer på en helt annen måte enn mennesker.

Høyttaler 3: Den spiller mot kopier av seg selv. Mange, mange ganger i skyen..

Jennifer: Fahri hadde tilsyn med Dota 2-prosjektet, kalt Open AI Five ... og han demonstrerte hvordan det fungerer på Tech Reviews AI-konferanse, EmTech Digital ...

[Sounds of Dota 2-spilling via Youtube. [00:03 - 00:15] Tone inn, og deretter legge deg under følgende Farhi-valg. *Sverdkamp, ​​fottrinn og dramatisk kampmusikk.*]

David Farhi: I øvre høyre hjørne av denne skjermen. Vi ser en veldig stor, utzoomet utsikt over hele Dota-verdenen. I nedre venstre hjørne er det ett lags base. I øvre høyre hjørne er et annet lags base. Hvert lag prøver å flytte rundt på karakterene sine, trollforme med karakterene sine, angripe fiendene og så videre for til slutt å invadere og ødelegge det andre lagets base.

David Farhi: Disse mer kompliserte systemene som robotikk og videospill har en annen følelse fordi du får en observasjon av spillets tilstand, og deretter velger du en handling du vil ta. Og så endres tilstanden til spillet på en eller annen måte, avhengig av handlingen du tok. Og så har du en ny observasjon og du kan velge en ny handling og denne loopen skjer om og om igjen og om igjen. Og derfor må du ta beslutninger som har langsiktige konsekvenser på veien. Så måten vi gjør dette på er relativt enkel. I det minste konseptuelt. Vi har agenter som begynner å spille helt tilfeldig. Og vi må bare spille dem mot seg selv, en klone av seg selv om og om igjen og om igjen.

Jennifer: Og hvis du tenker at dette kan ta veldig lang tid med et så komplisert spill? Du tar ikke feil ... men Open AIs evne til å kjøre den på 200 tusen maskiner samtidig ... hjelper.

I utgangspunktet... kan den få omtrent 250 års erfaring per dag.

Og hvis systemet gjør noe som fungerer ... det oppdateres for å gjøre den tingen mer ... og hvis noe dårlig skjer som ikke fungerer, gjør det den tingen mindre.

David Farhi: Vi startet med en begrenset versjon av spillet. Vi klarte til slutt å slå utviklerteamet vårt, noe som var veldig gøy. Og så la vi til flere deler av spillet. Vi dro tilbake og trente lenger. Og vi klarte å slå noen amatører og deretter noen semi-profesjonelle mennesker. Til slutt bestemte vi oss for å gå til en stor turnering som dette spillet har..

[Lyder fra The International 3 (Dota-turnering) via YouTube. *Folk jubler, sportskommentatorer som roper begeistret, Dota-spilling.*]

Sportscaster: Det kan være deres siste standplass. [uhørlig]

Sportscaster: Han skal prøve å fokusere alle, men det er så mye.

Sportscaster: Det er ikke flere klipp tilgjengelig. Ned til ca halv HP.

Sportscaster: En kvart HK. En løve omgir seg fra alle kanter! EKB! Sportscaster: De vant runden! De kommer til å gjøre det!

Sportscaster: Kongene i nord! Alliansen vinner! De vinner TI 3.

Sportscaster: Alliansen har nettopp vunnet 1,4 millioner dollar!

Sportscaster: De er dine internasjonale 3-mestere!

David Farhi: Så dette spillet har millioner av menneskelige brukere som konkurrerer i disse turneringene om store premier, noe som sikrer at vi vet at det er mennesker som spiller på et veldig, veldig høyt ferdighetsnivå. I august 2018 tok vi med oss ​​agenten vår til denne turneringen.

Jennifer: AI-en deres spilte mot to profesjonelle lag som allerede hadde blitt eliminert fra turneringen ... og tapte knepent. Men året etter, med mer trening, klarte AI å slå de tidligere verdensmesterne 2-0.

David Farhi: Så OpenAI Five er trent uten mennesker i treningsprosessen, så den spiller bare mot seg selv i disse skyserverne om og om og om igjen og om igjen. Og så når vi vil spille det mot et menneske, tar vi et øyeblikksbilde fra skyen og spiller det mot mennesket, men vi mater aldri disse dataene tilbake i treningsprosessen.

[Musikk]

Jennifer: Men det er fortsatt spørsmålet om spill kan hjelpe oss med å trene opp AI til å være mer nyttig.

Akkurat nå har vi systemer som er ekstremt gode på én ting. Men vi har ennå ikke modeller som kan gjøre mange ting samtidig.

Nok en gang, min kollega Will Douglas Heaven.

Will Douglas-Heaven: Trikset kommer til å være, jeg tror å gå tilbake fra å bygge AI-er som utmerker seg med spesifikke strategier eller teknikker, eller har en glimrende løsning for denne spesielle regelen eller trekket, du vet, den typen ting vi har sett i disse AI-er som kan lære å spille spill.

Jennifer: For virkelig å forstå det neste stadiet av denne forskningen... Det kan være nyttig å tenke på måten barna leker på en lekeplass.

Will Douglas-Heaven: De spiller ikke et spill som har noen form for faste regler. Jeg mener, de kan finne på dem etter hvert, men, du vet, de utforsker, prøver ut ting og på en veldig naturlig og åpen måte. Og det er ikke noe bestemt mål de jobber mot. Og jeg tror det er denne typen teknikk, som fortsatt er en slags lek, som vi kommer til å se, du vet, virkelig presse ting fremover når vi snakker om generell intelligens. Deepmind, for eksempel, ga ut en virtuell lekeplass for noen måneder siden. Det er på en måte som en videospillverden som heter X Land. Og den er befolket av en haug med små roboter. Og det fine her er at selve X Land styres av en AI eller på en måte som en spillmester som omorganiserer omgivelsene, omorganiserer hindringene og blokkene og ballene de små robotene får leke med, og også kommer opp med forskjellige regler på farten. Så enkle spill som tag eller gjemsel, og robotene må bare finne ut, vet du, hvordan de skal spille dem. Du vet hvilke objekter i den virtuelle verdenen som vil hjelpe dem til å gjøre det. Og de lærer generelle ferdigheter som å utforske, bare prøve ut ting. Og jeg tror denne typen åpen utforskning kommer til å bli nøkkelen for neste generasjon AI. Og det er litt spennende at den [00:09:00] neste bølgen av AI, AI-ene som kommer til å være gode på flere ting, [00:09:03] Vi // kan fortsatt komme dit gjennom spill igjen. Så spill kommer ingen vei. Spill har vært med AI siden begynnelsen. Og du vet, det er fint å se at lek fortsatt kanskje er den beste måten å lære på.

[KREDITTER]

Jennifer: Denne episoden ble rapportert av meg og Will Douglas-Heaven... og produsert av Anthony Green, Emma Cillekens og Karen Hao. Vi er redigert av Niall Firth, Michael Reilly og Mat Honan. Vår miksingeniør er Garret Lang... med lyddesign og musikk av Jacob Gorski.

Takk for at du lyttet, jeg heter Jennifer Strong.
[TR ID]

gjemme seg