Facebook trener robotassistenter til å høre og se

Har du facebook

I juni 2019 lanserte Facebooks AI-lab, FAIR, AI Habitat, en ny simuleringsplattform for opplæring av AI-agenter. Det tillot agenter å utforske ulike realistiske virtuelle miljøer, som en møblert leilighet eller et avlukkefylt kontor. AI kan deretter overføres til en robot, som vil få smartheten til å navigere gjennom den virkelige verden uten å krasje.

I året etterpå har FAIR raskt flyttet grensene for sitt arbeid med legemliggjort AI. I en blogginnlegg i dag , har laboratoriet annonsert tre ekstra milepæler nådd: to nye algoritmer som lar en agent raskt lage og huske et kart over områdene den navigerer i, og tillegg av lyd på plattformen for å trene agentene til å høre.

Algoritmene bygger på FAIRs arbeid i januar i år, da en agent ble opplært i Habitat å navigere i ukjente miljøer uten kart . Ved å bare bruke et dybdefølende kamera, GPS og kompassdata, lærte den å gå inn i et rom omtrent som et menneske ville gjort, og finne kortest mulig vei til målet uten feil svinger, tilbakesporing eller utforskning.

Den første av disse nye algoritmene kan nå bygge et kart over rommet samtidig, slik at det kan huske miljøet og navigere raskere gjennom det hvis det kommer tilbake. Den andre forbedrer agentens evne til å kartlegge plassen uten å måtte besøke alle deler av den. Etter å ha blitt opplært i nok virtuelle miljøer, er den i stand til å forutse visse funksjoner i et nytt; den kan for eksempel vite at det sannsynligvis er tom gulvplass bak en kjøkkenøy uten å navigere til den andre siden for å se. Nok en gang lar dette til slutt agenten bevege seg raskere gjennom et miljø.

Til slutt skapte laboratoriet også SoundSpaces, et lydgjengivelsesverktøy som lar forskere legge til svært realistisk akustikk til et gitt Habitat-miljø. Det kan gjengi lydene som produseres ved å treffe forskjellige møbler, eller lyden av hæler kontra joggesko på gulvet. Tillegget gir Habitat muligheten til å trene agenter på oppgaver som krever både visuell og auditiv sensing, som Få min ringende telefon eller Åpne døren der personen banker.

Av de tre utviklingene er tillegget av lydtrening mest spennende, sier Ani Kembhavi, en robotforsker ved Allen Institute for Artificial Intelligence, som ikke var involvert i arbeidet. Tilsvarende forskning i det siste har fokusert mer på å gi agenter muligheten til å se eller svare på tekstkommandoer. Å legge til lyd er et viktig og spennende neste steg, sier han. Jeg ser mange forskjellige oppgaver der lydinnganger vil være veldig nyttige. Kombinasjonen av syn og lyd er spesielt et underutforsket forskningsområde, sier Pieter Abeel, direktøren for Robot Learning Lab ved University of California, Berkeley.

Hver av disse utviklingene, sier FAIRs forskere, bringer laboratoriet gradvis nærmere å oppnå intelligente robotassistenter. Målet er at slike ledsagere skal kunne bevege seg kvikk og utføre sofistikerte oppgaver som matlaging.

Men det vil ta lang tid før vi kan slippe robotassistenter løs på kjøkkenet. En av de mange hindringene som FAIR må overvinne: å bringe all den virtuelle treningen ut i den fysiske verden, en prosess kjent som sim2real transfer. Da forskerne først testet sine praktisk talt trente algoritmer i fysiske roboter, gikk ikke prosessen så bra.

Fremover håper FAIR-forskerne å begynne å legge til interaksjonsevner i Habitat også. La oss si at jeg er en agent, sier Kristen Grauman, en forsker ved FAIR og en informatikkprofessor ved University of Texas, Austin, som ledet noe av arbeidet. Jeg går inn og ser disse gjenstandene. Hva kan jeg gjøre med dem? Hvor skal jeg gå hvis jeg skal lage en sufflé? Hvilke verktøy ville jeg plukket opp? Slike interaksjoner og til og med manipulasjonsbaserte endringer i miljøet vil bringe denne typen arbeid til et annet nivå. Det er noe vi jobber aktivt med.

gjemme seg