Hva AI trenger for å lære for å mestre romvesenkrigføring

Spillere spiller StarCraft på Gamescom i Köln, Tyskland, i 2015.

For å lære hvordan mennesker og AI-systemer best kan leve sammen, må vi kanskje drepe en hel masse Zerg.

DeepMind, den AI-fokuserte enheten til Alphabet, og spillselskapet Blizzard Entertainment gir ut et sett med verktøy som lar programmerere slippe løs alle slags AI-algoritmer i rom-tema-spillet StarCraft.

Spillet er mer utfordrende enn de fleste som er taklet av AI-programmer til dags dato. Ikke bare er StarCraft ekstremt komplekst, det krever også planlegging langt i forveien og å prøve å gjette hva motstanderen din holder på med. Dette betyr å utvikle AI-programmer som er i stand til å matche mennesker, burde hjelpe forskere med å utforske nye fasetter av menneskelig intelligens med maskiner. En annen potensiell fordel, ifølge de involverte, vil være å utforske måter for mennesker og kunstige midler å spille sammen.

StarCraft er interessant av mange grunner, sier Oriol Vinyals , DeepMind-forskeren som leder prosjektet. Det faktum at spillere ofte bare får et glimt av motstandernes aktiviteter, betyr for eksempel at algoritmer må utvikle bedre måter å lagre informasjon i minnet. Minne er kritisk, sier Vinyals. Det du ser nå er ikke det du så for en stund siden, og noe spesifikt som kan ha skjedd for et minutt siden kan få deg til å handle annerledes.

DeepMind har bygget et imponerende rykte på å bygge AI-programmer som er i stand til å spille ulike typer spill med overmenneskelige ferdigheter. Selskapet begynte med å erobre forskjellige Atari-spill, og mer nylig tok det på seg det ekstremt komplekse og abstrakte brettspillet Go (se DeepMinds AI Masters the Game of Go et tiår tidligere enn forventet).

For å mestre disse spillene brukte DeepMinds forskere en maskinlæringsteknikk kalt forsterkningslæring. Maskinlæring lar en datamaskin finne ut hvordan den skal gjøre noe selv, uten å kreve eksplisitte instruksjoner. Forsterkende læring, som er inspirert av måten dyr ser ut til å lære, muliggjør læring gjennom eksperimentering med positive tilbakemeldinger (se 10 Breakthrough Technologies 2017: Reinforcement Learning ). Vinyals sier imidlertid å bruke forsterkningslæring på StarCraft vil være vanskeligere fordi det tar så lang tid før hvert spill utfolder seg. En handling jeg gjør nå, får først konsekvens mye senere, sier han.

Innen StarCraft konkurrerer spillere som en av tre raser: den menneskelignende Terrans, cyborg Protoss eller insektoiden Zerg. Kamper involverer komplekse strategiske handlinger som gruveressurser og å bygge baser, samt langvarige kampsekvenser. StarCraft er også den mest populære e-sporten for tilskuere, og spesielt i Sør-Korea spilles turneringer ofte på massive stadioner og vises direkte på TV. Fremtredende spillere har ønsket velkommen muligheten til å matche opp mot AI-programmer, men DeepMind har ennå ikke sagt når dette kan skje (se StarCraft-proffene er klare til å kjempe mot AI).

Verktøyene utviklet av DeepMind og Blizzard vil gjøre det mye enklere for AI-forskere å distribuere og teste maskinlæringsalgoritmer inne i StarCraft. Verktøyene vil gi AI-agenter samme syn på spillet og grensesnittet som menneskelige spillere har. De gjør det også mulig å begrense hastigheten et program kan utføre handlingene sine med. Dette kan sikre at et program må stole på de samme intellektuelle verktøyene som en person gjør.

StarCraft har vært brukt som en forskningsplattform en stund, men det har vært relativt utfordrende å utnytte. Vinyals, en ekspert StarCraft-spiller selv, gjorde banebrytende arbeid med å bygge roboter for StarCraft som student ved University of California, Berkeley (se 35 Innovators Under 35, 2016: Oriol Vinyals ). Lag kl Facebook og det kinesiske selskapet Alibaba har også publisert StarCraft-forskning. DeepMind publiserer en artikkel på en stor maskinlæringskonferanse denne uken som viser hvordan eksisterende algoritmer fungerer med spillet.

Det er mulig at ganske andre tilnærminger kan være nødvendig for å mestre et spill som StarCraft. Noen andre forskere har funnet suksess ved å bruke tilnærminger hentet fra spillteori for å gjøre fremskritt i andre spill med ufullkommen informasjon, og hvor bløffing er viktig. Tidligere i år bygde Tuomas Sandholm, professor ved Carnegie Mellon University, og en av studentene hans, Noam Brown, et program, kalt Libratus, som slo flere profesjonelle spillere på heads up, eller to-spiller, no-limit Texas hold. em. Libratus brukte en veldig sofistikert algoritme for å beregne den optimale strategien gjennom et spill (se Why Poker Is a Big Deal for Artificial Intelligence ). Og tilfeldigvis har Brown vært intern hos DeepMind denne sommeren.

Relatert historie

Relatert historie Å spille poker innebærer å håndtere ufullkommen informasjon, noe som gjør spillet veldig komplekst, og mer som mange situasjoner i den virkelige verden.

Jacob Repp, en hovedingeniør hos Blizzard, sier at selskapet hans er interessert i å se om sofistikerte AI-agenter kan gjøre spillet mer interessant, enten ved å spille mot folk eller samarbeide med dem. Det er allerede mulig å lage agenter i spillet som følger skriptkommandoer. Repp sier det ville vært interessant å la disse agentene bruke maskinlæring til en viss grad også. Og han sier at selskapet utforsker denne typen ideer. Vi finner ut at disse verktøyene er veldig nyttige for prosessen med å lage spill og designe funksjoner i spill, sier han.

gjemme seg