Å se sinnet til en robot i utvidet virkelighet

Justin Saglio

Da flytterne kom til Brown University robotikklab til Stefanie Tellex i forrige uke, fulgte studentene hennes med interesse. Se hvordan de slo seg behendig sammen for å plukke opp en sofa ved å bruke kroppsspråk, øyekontakt og bare noen få kommandoer, som 1-2-3 … løft.

Kan roboter og mennesker samarbeide like greit? Det er målet for forskningen i Tellex-laboratoriet, som prøver å gi både roboter og mennesker verktøyene til å forstå hverandre litt bedre og jobbe mer flytende sammen i virkelige miljøer.

Noen roboter, som Roomba-støvsugeren, trenger egentlig bare én kommando – rengjør eller stopp. Det er det riktige grensesnittet for en Roomba, men vi ser roboter bevege seg utover en enkelt funksjon. Vi vil gjerne kunne fortelle dem alt som er innenfor robotens fysiske evner, sier Tlex. Jeg jobber med et system der du snakker til roboten som en person. Du sier 'Sett kassen der' og roboten finner ut av det.'

Det er et vanskelig problem, ikke minst fordi det er mange måter å beskrive hva du vil ha gjort. (Jeg trenger bare å tenke på hva som skjer når min kone og jeg – ingen ekspertflyttere – prøver å omplassere vår egen sofa.)

I arbeidet som ble presentert i fjor, brukte Tellexs team et stemmegrensesnitt for å se om en person og en griperobot kunne samarbeide for å velge fra en gruppe lignende gjenstander på et bord – inkludert boller, tusjer og skjeer. En kommando som Kan jeg få den bollen? kan la roboten være i tvil. Så de programmerte roboten til å stille noen oppklarende spørsmål, som denne?

Brown-gruppen inviterte 16 frivillige inn i laboratoriet og fant ut at med en slik mini-dialog fikk robotene jobben gjort omtrent 25 prosent raskere og med bedre nøyaktighet. Folk trodde også at roboten var mye smartere enn den faktisk er. Det var så bra at folk trodde systemet kunne forstå setninger som 'til venstre for', selv når det ikke gjorde det. Men det ville stille et spørsmål, så det virket som det forsto det, sier Tellex.

Det neste trinnet i prosjektet, ledet av doktorgradsstudent David Whitney, er å kombinere verbale kommandoer med det utvidede virkelighetshodesettet HoloLens.

I løpet av MIT Technology Review EmTech Next-konferansen til Jeg prøvde oppsettet, som viser brukeren spøkelsesaktige lilla-fargede versjoner av roboten som viser hvilke handlinger den planlegger å gjøre – slik at du kan fikse eller finjustere dem om nødvendig.

Her er målet å komme inn i robotens sinn, sier Whitney. Gode ​​flyttefolk bruker mye kroppsspråk, men roboter ser ikke ut som oss, sier han. Så dette er en måte å visualisere informasjon om roboten på – hva tenker den på?'

gjemme seg