211service.com
Maskinsyn har lært seg å bruke radiobølger for å se gjennom vegger og i mørke
Handlingsgjenkjenningsutgang som viser figurer som sparker og klapper på ryggen MED CSAIL
Maskinsyn har en imponerende rekord. Den har den overmenneskelige evnen til å gjenkjenne mennesker, ansikter og gjenstander. Den kan til og med gjenkjenne mange forskjellige typer handlinger, om enn ikke fullt så bra som mennesker ennå.
Men det er grenser for ytelsen. Maskiner har en spesielt vanskelig tid når mennesker, ansikter eller gjenstander er delvis okkludert. Og når lysnivået faller for mye, blir de effektivt blendet, akkurat som mennesker.
Men det er en annen del av det elektromagnetiske spekteret som ikke er begrenset på samme måte. Radiobølger fyller vår verden, enten det er natt eller dag. De passerer lett gjennom vegger og blir både overført og reflektert av menneskekropper. Faktisk har forskere utviklet forskjellige måter å bruke Wi-Fi-radiosignaler for å se bak lukkede dører.
Men disse radiosynssystemene har noen mangler. Oppløsningen deres er lav; bildene er støyende og fylt med distraherende refleksjoner, som gjør det vanskelig å forstå hva som skjer.
Slik sett har radiobilder og bilder med synlig lys komplementære fordeler og ulemper. Og det øker muligheten for å bruke styrken til den ene for å overvinne den andres mangler.
Gå inn i Tianhong Li og kolleger ved MIT, som har funnet en måte å lære et radiosynssystem å gjenkjenne folks handlinger ved å trene det med bilder i synlig lys. Det nye radiosynssystemet kan se hva individer holder på med i en lang rekke situasjoner der avbildning av synlig lys mislykkes. Vi introduserer en nevrale nettverksmodell som kan oppdage menneskelige handlinger gjennom vegger og okklusjoner, og under dårlige lysforhold, sier Li og co.
Lagets metode bruker et pent triks. Den grunnleggende ideen er å ta opp videobilder av samme scene ved hjelp av synlig lys og radiobølger. Maskinsynssystemer er allerede i stand til å gjenkjenne menneskelige handlinger fra bilder med synlig lys. Så neste trinn er å korrelere disse bildene med radiobildene av samme scene.
Men vanskeligheten ligger i å sikre at læringsprosessen fokuserer på menneskelig bevegelse i stedet for andre funksjoner, som bakgrunnen. Så Li og co introduserer et mellomtrinn der maskinen genererer 3D-pinnefigurmodeller som gjengir handlingene til personene i scenen.
Ved å oversette input til en mellomliggende skjelettbasert representasjon, kan modellen vår lære av både visjonsbaserte og radiofrekvensbaserte datasett, og la de to oppgavene hjelpe hverandre. sier Li og co.
På denne måten lærer systemet å gjenkjenne handlinger i synlig lys og deretter gjenkjenne de samme handlingene som finner sted i mørket eller bak vegger, ved hjelp av radiobølger. Vi viser at modellen vår oppnår sammenlignbar nøyaktighet med visjonsbaserte handlingsgjenkjenningssystemer i synlige scenarier, men fortsetter å fungere nøyaktig når folk ikke er synlige, sier forskerne.
Det er et interessant arbeid som har betydelig potensial. De åpenbare bruksområdene er i scenarier der bilder med synlig lys svikter – under dårlige lysforhold og bak lukkede dører.
Men det er andre applikasjoner også. Et problem med bilder i synlig lys er at folk er gjenkjennelige, noe som reiser personvernproblemer.
Men et radiosystem har ikke oppløsningen for ansiktsgjenkjenning. Å identifisere handlinger uten å gjenkjenne ansikter vekker ikke den samme personvernfrykten. Det kan bringe handlingsgjenkjenning til folks hjem og tillate integrering i smarthussystemer, sier Li og co. Det kan brukes til å overvåke en eldre persons hus og varsle de aktuelle tjenestene om et fall, for eksempel. Og det ville gjøre det uten stor risiko for personvernet.
Det overgår mulighetene til dagens visjonsbaserte systemer.
Ref: arxiv.org/abs/1909.09300 : Å gjøre det usynlige synlig: Handlingsgjenkjenning gjennom vegger og okklusjoner