211service.com
Nysgjerrighet kan være avgjørende for virkelig smart AI
MR. tech
En datamaskinalgoritme utstyrt med en form for kunstig nysgjerrighet kan lære å løse vanskelige problemer selv når det ikke umiddelbart er klart hvilke handlinger som kan hjelpe den med å nå dette målet.
Forskere ved University of California, Berkeley, utviklet en iboende nysgjerrighetsmodell for å få læringsalgoritmen til å fungere selv når det ikke er et sterkt tilbakemeldingssignal. Nysgjerrighetsmodellen utviklet av dette teamet ser at AI-programvaren som kontrollerer en virtuell agent i et videospill søker å maksimere forståelsen av miljøet og spesielt aspekter ved det miljøet som påvirker det. Det har vært tidligere forsøk på å gi AI-agenter nysgjerrighet, men disse har hatt en tendens til å fungere på en mer forenklet måte.
Trikset kan bidra til å løse en mangel ved dagens kraftigste maskinlæringsteknikker, og det kan peke på måter å gjøre maskiner bedre til å løse problemer i den virkelige verden.
Belønninger i den virkelige verden er veldig sparsomme, sier Pulkit Agrawal , en doktorgradsstudent ved UC Berkeley som utførte forskningen sammen med kolleger. Babyer gjør alle disse tilfeldige eksperimentene, og du kan tenke på det som en slags nysgjerrighet. De lærer en slags ferdigheter.
Flere kraftige maskinlæringsteknikker har gjort maskiner smartere de siste årene. Blant disse har en metode kjent som forsterkningslæring gjort det mulig for maskiner å oppnå ting som ville være vanskelig å definere i kode. Forsterkende læring innebærer å bruke positive belønninger for å veilede en algoritmes atferd mot et bestemt mål (se 10 Breakthrough Technologies 2017: Reinforcement Learning).
Forsterkende læring var en grunnleggende del av AlphaGo , et program utviklet av DeepMind , for å spille det abstrakte og komplekse brettspillet Gå med utrolig dyktighet . Teknikken utforskes nå som en måte å gi maskiner andre ferdigheter som kan være umulig å kode manuelt. For eksempel kan det være en måte for en robotarm å finne ut hvordan den skal utføre et ønsket arbeid.
Forsterkende læring har imidlertid sine begrensninger. Agrawal bemerker at det ofte krever en enorm mengde trening for å lære en oppgave, og prosessen kan være vanskelig hvis tilbakemeldingen som kreves ikke er umiddelbart tilgjengelig. Metoden fungerer for eksempel ikke for dataspill der fordelene med visse atferder ikke umiddelbart er åpenbare. Det er der nysgjerrighet kan hjelpe.
Forskerne prøvde tilnærmingen, i kombinasjon med forsterkende læring, innenfor to enkle videospill: Mario Bros., et klassisk plattformspill, og VizDoom, en grunnleggende 3D-skytespill.
I begge spillene gjorde bruken av kunstig nysgjerrighet læringsprosessen mer effektiv. I 3D-spillet, for eksempel, i stedet for å bruke for mye tid på å støte inn i vegger, beveget agenten seg rundt i miljøet sitt og lærte å navigere raskere. Selv uten noen annen belønning, klarte agenten å navigere i begge kampene overraskende bra. I Mario Bros. lærte den å unngå å bli drept fordi dette reduserte evnen til å utforske og lære om miljøet.
TIL papir som beskriver forskningen vil bli publisert på et hovedfag AI-konferanse senere i år.
Kunstig nysgjerrighet har vært et aktivt forskningsområde i noen tid. Pierre-Yves Oudeyer , en forskningsdirektør ved Fransk institutt for forskning innen informatikk og automatisering , har de siste årene vært banebrytende for utviklingen av dataprogrammer og roboter som viser enkle former for nysgjerrighet.
Det som er veldig spennende akkurat nå, er at disse ideene, som i høy grad ble sett på som 'eksotiske' av både mainstream AI og nevrovitenskapsforskere, nå er i ferd med å bli et hovedtema innen både AI og nevrovitenskap, sier Oudeyer.
Arbeidet kan ha reelle praktiske fordeler. UC Berkeley-teamet er opptatt av å teste det på roboter som bruker forsterkningslæring for å finne ut hvordan man kan gjøre ting som å ta tak i vanskelige gjenstander. Agrawal sier roboter kan kaste bort mye tid på å utføre tilfeldige bevegelser. Når den er utstyrt med medfødt nysgjerrighet, bør en slik robot raskere utforske omgivelsene og eksperimentere med objekter i nærheten, sier han.
Brendensjøen , en forsker ved New York University som bygger beregningsmodeller for menneskelige kognitive evner, sier at arbeidet virker lovende. Å utvikle maskiner med lignende kvaliteter er et viktig skritt mot å bygge maskiner som lærer og tenker som mennesker, sa han i en e-post. Det er veldig imponerende at ved kun å bruke nysgjerrighetsdrevet læring, kan agenten lære å navigere på et nivå i Mario. Agenten ser ikke engang på kampresultatet.
Samtidig, sier Lake, er nysgjerrigheten som det nye programmet viser, faktisk ganske annerledes enn for eksempel et barn. Mennesker har en tendens til å vise en mye dypere interesse for sin verden, sier han.
Det er en veldig egosentrisk form for nysgjerrighet, sier Lake. Agenten er bare nysgjerrig på trekk ved omgivelsene som er relatert til dens egne handlinger. Folk er mer nysgjerrige. Folk ønsker å lære om verden på måter som er mindre direkte knyttet til deres egne handlinger.