211service.com
Hvordan DeepMinds minnetriks hjelper AI med å lære raskere
Intelligente maskiner har mennesker i kikkerten. Dyplæringsmaskiner har allerede overmenneskelige ferdigheter når det kommer til oppgaver som ansiktsgjenkjenning, videospilling og til og med det gamle kinesiske spillet Go. Så det er lett å tro at mennesker allerede er overkjørt.
Men ikke så fort. Intelligente maskiner ligger fortsatt etter mennesker på ett avgjørende ytelsesområde: hastigheten de lærer. Når det kommer til å mestre klassiske videospill, for eksempel, tar de beste dyplæringsmaskinene rundt 200 timers spilling for å nå de samme ferdighetsnivåene som mennesker oppnår på bare to timer.
Så informatikere ville veldig gjerne ha en måte å øke hastigheten maskiner lærer på.
I dag hevder Alexander Pritzel og venner ved Googles DeepMind-datterselskap i London å ha gjort nettopp det. Disse gutta har bygget en dyplæringsmaskin som er i stand til raskt å assimilere nye erfaringer og deretter handle på dem. Resultatet er en maskin som lærer betydelig raskere enn andre og som har potensial til å matche mennesker i en ikke så fjern fremtid.
Først litt bakgrunn. Deep learning bruker lag med nevrale nettverk for å se etter mønstre i data. Når et enkelt lag oppdager et mønster det gjenkjenner, sender det denne informasjonen til neste lag, som ser etter mønstre i dette signalet, og så videre.
Så i ansiktsgjenkjenning kan det ene laget se etter kanter i et bilde, det neste laget etter sirkulære mønstre av kanter (den typen øyne og munn lager), og det neste etter trekantede mønstre som de laget av to øyne og en munn. Når alt dette skjer, er den endelige utgangen en indikasjon på at et ansikt har blitt oppdaget.
Selvfølgelig er djevelen i detaljene. Det finnes ulike systemer for tilbakemelding for å tillate systemet å lære ved å justere ulike interne parametere som styrken på forbindelsene mellom lag. Disse parameterne må endres sakte, siden en stor endring i ett lag kan katastrofalt påvirke læringen i de påfølgende lagene. Det er derfor dype nevrale nettverk trenger så mye trening og hvorfor det tar så lang tid.
Pritzel og co har taklet dette problemet med en teknikk de kaller neural episodisk kontroll. Nevral episodisk kontroll viser dramatiske forbedringer i læringshastigheten for et bredt spekter av miljøer, sier de. Kritisk er det at agenten vår er i stand til raskt å gripe inn i svært vellykkede strategier så snart de oppleves, i stedet for å vente på mange trinn med optimalisering.
Den grunnleggende ideen bak DeepMinds tilnærming er å kopiere måten mennesker og dyr lærer raskt på. Den generelle konsensus er at mennesker kan takle situasjoner på to forskjellige måter. Hvis situasjonen er kjent, har hjernen vår allerede dannet en modell av den, som de bruker for å finne ut hvordan de best kan oppføre seg. Dette bruker en del av hjernen som kalles prefrontal cortex.
Men når situasjonen ikke er kjent, må hjernen vår falle tilbake på en annen strategi. Dette antas å involvere en mye enklere test-og-husk-tilnærming som involverer hippocampus. Så vi prøver noe og husker resultatet av denne episoden. Hvis det lykkes, prøver vi det igjen, og så videre. Men hvis det ikke er en vellykket episode, prøver vi å unngå det i fremtiden.
Denne episodiske tilnærmingen er tilstrekkelig på kort sikt mens vår prefrontale hjerne lærer. Men den blir snart bedre enn den prefrontale cortex og dens modellbaserte tilnærming.
Pritzel og co har brukt denne tilnærmingen som inspirasjon. Deres nye system har to tilnærminger. Den første er et konvensjonelt dyplæringssystem som etterligner oppførselen til den prefrontale cortex. Den andre ligner mer på hippocampus. Når systemet prøver noe nytt, husker det utfallet.
Men det er avgjørende at den ikke prøver å lære hva den skal huske. I stedet husker den alt. Arkitekturen vår prøver ikke å lære når man skal skrive til minnet, da dette kan være tregt å lære og ta betydelig tid, sier Pritzel og co. I stedet velger vi å skrive alle opplevelser til minnet, og la det vokse seg veldig stort sammenlignet med eksisterende minnearkitekturer.
De bruker deretter et sett med strategier for å lese raskt fra dette store minnet. Resultatet er at systemet kan feste seg til vellykkede strategier mye raskere enn konvensjonelle dyplæringssystemer.
De fortsetter med å demonstrere hvor godt alt dette fungerer ved å trene maskinen deres til å spille klassiske Atari-videospill, som Breakout, Pong og Space Invaders. (Dette er en lekeplass som DeepMind har brukt til å trene mange dyplæringsmaskiner.)
Teamet, som inkluderer DeepMind-medgrunnlegger Demis Hassibis, viser at nevral episodisk kontroll overgår andre dyplæringstilnærminger i den hastigheten den lærer. Eksperimentene våre viser at nevral episodisk kontroll krever en størrelsesorden færre interaksjoner med miljøet, sier de.
Det er et imponerende arbeid med betydelig potensial. Forskerne sier at en åpenbar utvidelse av dette arbeidet er å teste deres nye tilnærming på mer komplekse 3D-miljøer.
Det blir interessant å se hvilke miljøer teamet velger og hvilken innvirkning dette vil ha på den virkelige verden. Vi ser frem til å se hvordan det fungerer.
Ref: Nevral episodisk kontroll: arxiv.org/abs/1703.01988