211service.com
Etter å ha mestret Space Invaders, sjakk og Go, takler AI videofotball
Fotballbane Wien Reyes | Unsplash
Google er verdensledende innen forskning på maskinintelligens. Dets DeepMind-datterselskap, spesielt, har en imponerende liste over prestasjoner under beltet. DeepMinds nevrale nettverk har oppnådd overmenneskelig ytelse i et bredt spekter av spill. Disse inkluderer Atari-videospill som Pong, Breakout og Space Invaders og mer komplekse utfordringer som online flerspillerspillet Starcraft.
DeepMind har også hatt bemerkelsesverdig suksess med mer tradisjonelle spill. I 2016 slo AlphaGo-maskinen en av verdens sterkeste profesjonelle Go-spillere, første gang en maskin hadde seiret på denne måten. I prosessen fant AlphaGo helt nye måter å spille på som har revolusjonert måten mennesker tenker om spillet på.
Google er ikke fornøyd med å sitte på laurbærene, men retter nå oppmerksomheten mot mer åpne spill hvor uforutsigbarhet spiller en viktigere rolle. Og det neste målet er videofotball.
Karol Kurach og kolleger ved Google Researchs hjerneteam har laget et fotballvideospill kalt Google Research Football Environment for å la forskere teste algoritmene sine i en verden som er fysikkbasert, tilpassbar, enkel å bruke og uendelig reproduserbar. De har gjort denne verden tilgjengelig med en åpen kildekode-lisens slik at forskere hvor som helst kan bruke den til å utvikle bedre fotballspillealgoritmer.
Først litt bakgrunn. En av utfordringene for AI-forskere er å finne oppgaver som byr på nye problemer for maskinlæringsalgoritmer. Enkelte videospill som Pong eller Breakout er noen ganger bare for enkle for disse algoritmene, som kan oppnå overmenneskelig ytelse etter bare noen timers trening.
Men noen av de mer komplekse videospillene, som Starcraft, er for utfordrende. Starcraft er et sanntidsstrategispill for flere spillere og foregår i et stort nettunivers. AI-forskere har blitt interessert i det fordi det lar dem spille mot andre mennesker og mot spillbaserte AI-systemer i komplekse miljøer.
Imidlertid er spillet så omfattende og intrikat at det krever enorme beregningsressurser for å samle relevante data og trene et maskinlæringssystem. Og disse ressursene er ikke tilgjengelige for de fleste forskere.
Et annet problem er at mange lovende nettmiljøer kjører på proprietær kode som forskere ikke kan endre eller til og med se. Det gjør det umulig å vite hvordan spillet tar viktige avgjørelser eller å eksperimentere med ulike beslutningsprosesser.
Til slutt, mange spill er helt deterministiske: de vil spille ut på nøyaktig samme måte gitt de samme inngangene. Det gjør dem enkle å lære algoritmer å slå.
Men det er ikke slik ting fungerer i den virkelige verden, hvor evnen til å takle uventede handlinger er en viktig ferdighet. Den eneste måten for maskiner å lære seg denne ferdigheten er ved å trene i uforutsigbare miljøer. Men uforutsigbarheten må være kontrollerbar – for lite og spillet er for enkelt, mens for mye gjør læringen for vanskelig. Å skape et slikt miljø er vanskelig.
Det er her fotballsimulatorer kommer inn. Disse har visse nivåer av forutsigbarhet basert på spillets fysikk. Men det er også nok av uforutsigbarhet som oppstår fra taktikken til motstanderspillere, misforholdet mellom spillere i situasjoner som takling, og så videre.
Så Kurach og kollegene har bygget sin egen simulator. Som base brukte de et offentlig tilgjengelig spill kalt Gameplay Football, som tillater komplette fotballkamper komplett med mål, feil, cornere, straffer, offside og så videre. Fotballmiljøet gir en fysikkbasert 3D-fotballsimulering der agenter må kontrollere spillerne sine, lære hvordan de passerer mellom dem og hvordan de kan overvinne motstanderens forsvar for å score mål, sier Google-teamet.
Forskerne har modifisert dette for å gi et mål på suksess for maskiner, basert på hvor tett maskinen kan manøvrere ballen til motstanderens mål på en kontrollert måte. Dette er nødvendig fordi standardmålet for suksess – mål – gjenspeiler en relativt sjelden hendelse og ikke gir maskiner en måte å overvåke fremgangen deres fra øyeblikk til øyeblikk.
Teamet har også laget flere standardmiljøer med varierende kompleksitet for å trene og teste AI-maskiner. Oppgavene maskinen står overfor inkluderer å score i et tomt mål, løpe og score mot en keeper, navigere i et 3 mot 1-scenario for å score mens du oppmuntrer til pasninger, og så videre. Den generelle testen er et standardspill med alle de vanlige reglene, spilt mot en maskinbasert motstander.
Læringsalgoritmen kan spille mot andre maskiner eller mot mennesker. Dette gir den erfaring med et bredt spekter av strategier. Og det unngår scenariet der maskinen ganske enkelt lærer svakhetene til en maskinbasert motstander, som kanskje ikke er aktuelt for spill generelt. Dette gir et utfordrende forsterkende læringsproblem ettersom fotball krever en naturlig balanse mellom kortsiktig kontroll, innlærte konsepter som pasninger og strategi på høyt nivå, sier Kurach og kolleger.
Det er interessant arbeid som har potensial til å hjelpe maskinlæring til å fungere i mer realistiske miljøer. Men det øker også muligheten for at maskiner vil lære nye fotballstrategier som mennesker aldri har vurdert, akkurat som de gjorde for Go.
Dette er taktikker som til og med kan spille ut i robo-fotballturneringer, eller til og med i spill mellom mennesker.
Hvorvidt disse strategiene fungerer like bra for ekte fotball som de gjør for den simulerte varianten, vil være et interessant spørsmål å se. Det vil være fascinerende for AI-forskere og fotballfans.
Ref: arxiv.org/abs/1907.11180 : Google Research Football: A Novel Reinforcement Learning Environment