211service.com
AI lærte å bruke verktøy etter nesten 500 millioner spill med gjemsel
OpenAi
I de tidlige dagene av livet på jorden var biologiske organismer svært enkle. De var mikroskopiske encellede skapninger med liten eller ingen evne til å koordinere. Likevel førte milliarder av år med evolusjon gjennom konkurranse og naturlig utvalg til de komplekse livsformene vi har i dag – så vel som kompleks menneskelig intelligens.
Forskere ved OpenAI, det San Francisco-baserte for-profit AI-forskningslaboratoriet, tester nå en hypotese: Hvis du kunne etterligne den typen konkurranse i en virtuell verden, ville det også gi opphav til mye mer sofistikert kunstig intelligens?
Eksperimentet bygger på to eksisterende ideer på feltet: multi-agent læring, ideen om å plassere flere algoritmer i konkurranse eller koordinering for å provosere frem fremvoksende atferd, og forsterkende læring, den spesifikke maskinlæringsteknikken som lærer å oppnå et mål gjennom utprøving og feil. (DeepMind populariserte sistnevnte med sitt banebrytende program AlphaGo, som slo den beste menneskelige spilleren i det gamle kinesiske brettspillet Go.)
I en nytt papir utgitt i dag, har OpenAI nå avslørt sine første resultater. Gjennom å spille et enkelt gjemsel-spill hundrevis av millioner ganger, utviklet to motstridende lag med AI-agenter komplekse gjemme- og søkestrategier som involverte verktøybruk og samarbeid. Forskningen gir også innsikt i OpenAIs dominerende forskningsstrategi: å dramatisk skalere eksisterende AI-teknikker for å se hvilke egenskaper som dukker opp.
Etter omtrent 25 millioner runder med gjemsel, lærte gjemerne å bygge fort for å vinne spillet. OpenAI
Seks faser av strategi
For å lage spillet designet forskerne et virtuelt miljø som besto av et lukket rom med ulike objekter som blokker, ramper og mobile og ubevegelige barrikader. Agentene selv ble kontrollert av forsterkningslæringsalgoritmer. For hvert spill ble agentene delt inn i to lag: Gjemere ble henholdsvis belønnet eller straffet for å unngå eller ikke unngå søkerne; søkere ble også belønnet eller straffet for å finne eller ikke finne gjemerne. Som i et klassisk spill med gjemsel, fikk gjemerne også noen sekunders forsprang. Forskerne ga agentene ingen andre instruksjoner.
I løpet av hundrevis av millioner av runder med spill utviklet agentene flere strategier og motstrategier. I løpet av den første fasen utviklet gjemerne og søkerne svært grove unngå- og jagestrategier ved å bevege seg rundt i rommet uten å manipulere noen av gjenstandene.
I fase tre lærte søkerne å klatre over fortets vegger ved hjelp av en rampe. OpenAI
Men rundt 25 millioner spill ble spillet mer sofistikert. Gjemerne lærte å flytte og låse boksene og barrikadene i miljøet for å bygge fort rundt seg selv slik at søkerne aldri skulle se dem. Ikke bare det, men de utviklet også koordineringsstrategier, for eksempel å passere hverandres gjenstander, for å fremskynde fortbyggingsprosessen.
Etter ytterligere 75 millioner runder oppdaget søkerne imidlertid en motstrategi som flyttet prosessen inn i fase tre. De lærte å flytte en rampe ved siden av gjemernes fort og bruke den til å klatre over murene. Ved fase fire, 10 millioner runder senere, hadde gjemerne lært å låse rampene på plass før de bygget fortet sitt. (Ingen av lagene kunne låse opp et objekt som ble låst av et motstanderlag.)
Til å begynne med trodde forskerne ved OpenAI at dette var den siste fasen av spillet, men til slutt, ved 380-millioner-spillet, dukket det opp ytterligere to strategier. Søkerne utviklet nok en gang en strategi for å bryte seg inn i gjemernes fort ved å bruke en låst rampe for å klatre opp på en ulåst boks, og deretter surfe seg på toppen av boksen til fortet og over veggene. I sluttfasen lærte gjemerne igjen å låse alle rampene og boksene på plass før de bygget fortet sitt.
Til slutt, etter 380 millioner runder med trening, lærte søkerne å 'boksurfe' for å klatre over fortets murer. OpenAI
Emergent etterretning
Forskerne mener at disse første resultatene viser en lovende ny metode for å utvikle mer kompleks AI. Vi ba ikke gjemerne eller søkerne om å løpe nær en boks eller samhandle med den, sier Bowen Baker, en av forfatterne av avisen. Men gjennom multiagent-konkurranse skapte de nye oppgaver for hverandre slik at det andre teamet måtte tilpasse seg.
Denne studien gjenspeiler OpenAIs særegne tilnærming til AI-forskning. Selv om laboratoriet også har investert i å utvikle nye teknikker i forhold til andre laboratorier, har det først og fremst skapt seg et navn ved å dramatisk skalere eksisterende. GPT-2, laboratoriets beryktede språkmodell, for eksempel, tungt lånt algoritmisk design fra tidligere språkmodeller, inkludert Googles BERT ; OpenAIs primære innovasjon var en bragd med ingeniørkunst og ekspansive beregningsressurser.
På en måte bekrefter denne studien verdien av å teste grensene for eksisterende teknologier i stor skala. Teamet planlegger også å fortsette med denne strategien. Forskerne sier at den første runden med eksperimenter ikke var i nærheten av å nå grensene for beregningsressursene de kunne kaste på problemet.
Vi vil at folk skal forestille seg hva som ville skje hvis du induserte denne typen konkurranse i et mye mer komplekst miljø, sier Baker. Atferden de lærer kan faktisk til slutt løse noen problemer som vi kanskje ikke allerede vet hvordan vi skal løse.
Korreksjon: Den originale overskriften ga feil hvor mange kamper agentene spilte.