211service.com
En algoritme som lærer gjennom belønning kan vise hvordan hjernen vår også gjør det
Nevrale veier Wikimedia Commons
I 1951 lånte Marvin Minsky, den gang en student ved Harvard, observasjoner fra dyreatferd for å prøve å designe en intelligent maskin. Minsky trekker på ideer fra arbeidet til fysiolog Ivan Pavlov, som berømt brukte hunder for å vise hvordan dyr lærer gjennom straff og belønning. laget en datamaskin som kontinuerlig kan lære gjennom lignende forsterkning for å løse en virtuell labyrint.
På den tiden hadde nevrovitenskapsmenn ennå ikke funnet ut mekanismene i hjernen som lar dyr lære på denne måten. Men Minsky var fortsatt i stand til å etterligne oppførselen løst, og dermed fremme kunstig intelligens. Flere tiår senere, ettersom forsterkende læring fortsatte å modnes, hjalp det igjen feltet nevrovitenskap oppdage disse mekanismene, mater inn i en god syklus av fremskritt mellom de to feltene.
I en papir publisert i Nature i dag har DeepMind, Alphabets AI-datterselskap, igjen brukt leksjoner fra forsterkningslæring for å foreslå en ny teori om belønningsmekanismene i hjernen vår. Hypotesen, støttet av innledende eksperimentelle funn, kunne ikke bare forbedre vår forståelse av mental helse og motivasjon. Det kan også validere den nåværende retningen for AI-forskning mot å bygge mer menneskelignende generell intelligens.
På et høyt nivå følger forsterkende læring innsikten hentet fra Pavlovs hunder: det er mulig å lære en agent å mestre komplekse, nye oppgaver bare gjennom positive og negative tilbakemeldinger. En algoritme begynner å lære en tildelt oppgave ved å tilfeldig forutsi hvilken handling som kan gi den en belønning. Deretter tar den handlingen, observerer den virkelige belønningen, og justerer sin prediksjon basert på feilmarginen. Over millioner eller til og med milliarder av forsøk konvergerer algoritmens prediksjonsfeil til null, og da vet den nøyaktig hvilke handlinger den skal ta for å maksimere belønningen og dermed fullføre oppgaven.
Det viser seg at hjernens belønningssystem fungerer på omtrent samme måte - en oppdagelse gjort på 1990-tallet, inspirert av forsterkningslæringsalgoritmer. Når et menneske eller et dyr er i ferd med å utføre en handling, gir dopaminnevronene en spådom om forventet belønning. Når den faktiske belønningen er mottatt, fyrer de av en mengde dopamin som tilsvarer prediksjonsfeilen. En bedre belønning enn forventet utløser en sterk dopaminfrigjøring, mens en dårligere belønning enn forventet undertrykker kjemikaliets produksjon. Dopaminet, med andre ord, fungerer som et korreksjonssignal, og ber nevronene justere sine spådommer til de konvergerer til virkeligheten. Fenomenet, kjent som belønningsprediksjonsfeil, fungerer omtrent som en forsterkningslæringsalgoritme.
DeepMinds nye artikkel bygger på den tette forbindelsen mellom disse naturlige og kunstige læringsmekanismene. I 2017 introduserte forskerne en forbedret forsterkningslæringsalgoritme som siden har låst opp stadig mer imponerende ytelse på ulike oppgaver. De tror nå at denne nye metoden kan tilby en enda mer presis forklaring på hvordan dopaminnevroner fungerer i hjernen.
Nærmere bestemt endrer den forbedrede algoritmen måten den forutsier belønninger på. Mens den gamle tilnærmingen estimerte belønninger som et enkelt tall – ment å være lik gjennomsnittlig forventet utfall – representerer den nye tilnærmingen dem mer nøyaktig som en fordeling. (Tenk et øyeblikk på en spilleautomat: du kan enten vinne eller tape etter en distribusjon. Men du vil aldri i noen tilfeller få det gjennomsnittlige forventede resultatet.)
Modifikasjonen gir seg selv til en ny hypotese: Forutsier dopaminnevroner også belønninger på samme distribusjonsmessige måte?
For å teste denne teorien, samarbeidet DeepMind med en gruppe ved Harvard for å observere dopaminnevronadferd hos mus. De satte musene på en oppgave og belønnet dem basert på terningkast, og målte avfyringsmønstrene til dopaminnevronene deres hele veien. De fant ut at hvert nevron frigjorde forskjellige mengder dopamin, noe som betyr at de alle hadde spådd forskjellige utfall. Mens noen var for optimistiske og spådde høyere belønninger enn de faktisk ble mottatt, var andre mer pessimistiske, og svek virkeligheten. Da forskerne kartla fordelingen av disse spådommene, fulgte den nøye fordelingen av de faktiske belønningene. Disse dataene gir overbevisende bevis på at hjernen faktisk bruker fordelingsbelønningsspådommer for å styrke læringsalgoritmen.
Gjennom å måle dopaminnevronadferd hos mus fant forskerne at fordelingen av nevronenes spådommer (dekodet) fulgte tett fordelingen av de faktiske belønningene (grunnsannheten). DeepMind
Dette er en fin utvidelse av forestillingen om dopaminkoding av belønningsprediksjonsfeil, skrev Wolfram Schultz, en pioner innen dopaminnevronadferd som ikke var involvert i studien, i en e-post. Det er utrolig hvordan denne veldig enkle dopaminresponsen forutsigbart følger intuitive mønstre av grunnleggende biologiske læringsprosesser som nå blir en del av AI.
Studien har implikasjoner for både AI og nevrovitenskap. For det første validerer den distribusjonsforsterkende læring som en lovende vei til mer avanserte AI-evner. Hvis hjernen bruker det, er det sannsynligvis en god idé, sa Matt Botvinick, DeepMinds direktør for nevrovitenskapelig forskning og en av hovedforfatterne på papiret, under en pressebriefing. Det forteller oss at dette er en beregningsteknikk som kan skaleres i virkelige situasjoner. Det kommer til å passe godt med andre beregningsprosesser.
For det andre kan det tilby en viktig oppdatering til en av de kanoniske teoriene innen nevrovitenskap om belønningssystemer i hjernen, som igjen kan forbedre vår forståelse av alt fra motivasjon til mental helse. Hva kan det for eksempel bety å ha pessimistiske og optimistiske dopaminnevroner? Hvis hjernen selektivt bare lyttet til det ene eller det andre, kan det føre til kjemiske ubalanser og indusere depresjon?
I bunn og grunn, ved ytterligere avkoding av prosesser i hjernen, kaster resultatene også lys over hva som skaper menneskelig intelligens. Det gir oss et nytt perspektiv på hva som skjer i hjernen vår i hverdagen, sa Botvinick.