Facebook vil at maskiner skal se verden gjennom øynene våre

MIT Technology Review | Envato

Vi tar det for gitt at maskiner kan gjenkjenne det de ser i bilder og videoer. Den evnen hviler på store datasett som ImageNet , en håndkuratert samling av millioner av bilder brukt til å trene de fleste av de beste bildegjenkjenningsmodellene det siste tiåret.

Men bildene i disse datasettene skildrer en verden av kuraterte objekter – et bildegalleri som ikke fanger hverdagens rot slik mennesker opplever det. Å få maskiner til å se ting som vi gjør, vil ta en helt ny tilnærming. Og Facebooks AI-lab ønsker å ta ledelsen.

Det er å kickstarte et prosjekt, kalt Ego4D , for å bygge AI-er som kan forstå scener og aktiviteter sett fra et førstepersonsperspektiv – hvordan ting ser ut for de involverte, snarere enn for en tilskuer. Tenk på bevegelsesuskarpe GoPro-opptak tatt midt i handlingen, i stedet for godt innrammede scener tatt av noen på sidelinjen. Facebook vil at Ego4D skal gjøre for førstepersonsvideo det ImageNet gjorde for bilder.

Relatert historie

Hvorfor Facebook bruker Ray-Ban for å gjøre krav på ansiktene våre

For å bygge metaverset trenger Facebook at vi blir vant til smarte briller.

De siste to årene har Facebook AI Research (FAIR) jobbet med 13 universiteter rundt om i verden for å sette sammen det største datasettet med førstepersonsvideo noensinne – spesielt for å trene dyptlærende bildegjenkjenningsmodeller. AI-er som er trent på datasettet vil være bedre til å kontrollere roboter som samhandler med mennesker, eller tolke bilder fra smarte briller. Maskiner vil kun kunne hjelpe oss i hverdagen hvis de virkelig forstår verden gjennom våre øyne, sier Kristen Grauman ved FAIR, som leder prosjektet.

Slik teknologi kan støtte folk som trenger hjelp i hjemmet, eller veilede folk i oppgaver de lærer å fullføre. Videoen i dette datasettet er mye nærmere hvordan mennesker observerer verden, sier Michael Ryoo, en datasynsforsker ved Google Brain og Stony Brook University i New York, som ikke er involvert i Ego4D.

Men de potensielle misbrukene er klare og bekymringsfulle. Forskningen er finansiert av Facebook, en sosiale mediegigant som nylig har blitt anklaget i det amerikanske senatet for sette profitt over folks velvære – som bekreftet av MIT Technology Review egne undersøkelser .

Forretningsmodellen til Facebook, og andre store teknologiselskaper, er å vri så mye data som mulig fra folks atferd på nettet og selge det til annonsører. AI-en som er skissert i prosjektet kan utvide denne rekkevidden til folks daglige offline-adferd, og avsløre hvilke gjenstander som er rundt hjemmet ditt, hvilke aktiviteter du likte, hvem du tilbrakte tid med, og til og med hvor blikket ditt ble hengende – en enestående grad av personlig informasjon.

Det er arbeid med personvern som må gjøres når du tar dette ut av verden av utforskende forskning og inn i noe som er et produkt, sier Grauman. Dette arbeidet kan til og med være inspirert av dette prosjektet.

FACEBOOK

Det største tidligere datasettet med førstepersonsvideo består av 100 timer med opptak av mennesker på kjøkkenet. Ego4D-datasettet består av 3 025 timer med video tatt opp av 855 personer på 73 forskjellige steder i ni land (USA, Storbritannia, India, Japan, Italia, Singapore, Saudi-Arabia, Colombia og Rwanda).

Deltakerne hadde ulik alder og bakgrunn; noen ble rekruttert for sine visuelt interessante yrker, som bakere, mekanikere, snekkere og landskapsarkitekter.

Tidligere datasett besto vanligvis av semi-skriptede videoklipp som bare var noen få sekunder lange. For Ego4D hadde deltakerne på seg hodemonterte kameraer i opptil 10 timer om gangen og tok førstepersonsvideo av daglige aktiviteter uten skript, inkludert å gå langs en gate, lese, vaske, handle, leke med kjæledyr, spille brettspill og samhandle med andre mennesker. Noen av opptakene inkluderer også lyd, data om hvor deltakernes blikk var fokusert, og flere perspektiver på samme scene. Det er det første datasettet i sitt slag, sier Ryoo.

FAIR har også lansert et sett med utfordringer som de håper vil fokusere andre forskeres innsats på å utvikle denne typen AI. Teamet forutser algoritmer innebygd i smarte briller, som Facebooks nylig annonserte Ray-Bans , som registrerer og logger brukernes daglige liv. Det betyr at metaverse-apper med utvidet eller virtuell virkelighet i teorien kan svare på spørsmål som Hvor er bilnøklene mine? eller Hva spiste jeg og hvem satt jeg ved siden av på mitt første fly til Frankrike? Augmented-reality-assistenter kan forstå hva du prøver å gjøre og tilby instruksjoner eller nyttige sosiale signaler.

Det er sci-fi-greier, men nærmere enn du tror, ​​sier Grauman. Store datasett akselererer forskningen. ImageNet drev noen store fremskritt på kort tid, sier hun. Vi kan forvente det samme for Ego4D, men for førstepersonsvisninger av verden i stedet for internettbilder.

Når opptakene var samlet, brukte crowdsourcede arbeidere i Rwanda totalt 250 000 timer på å se tusenvis av videoklipp og skrive millioner av setninger som beskriver scenene og aktivitetene som ble filmet. Disse merknadene vil bli brukt til å lære opp AI-er til å forstå hva de ser på.

Relatert historie

Feilfylte datasett forvrider følelsen vår av hvor god AI egentlig er

Vår forståelse av fremgang innen maskinlæring har blitt farget av feilaktige testdata.

Hvor denne teknologien ender opp og hvor raskt den utvikler seg gjenstår å se. FAIR planlegger en konkurranse basert på sine utfordringer i juni 2022. Det er også viktig å merke seg at FAIR, forskningslaboratoriet, ikke er det samme som Facebook, media megalodon. Faktisk sier innsidere det Facebook har ignorert tekniske rettelser som FAIR har kommet opp med for sine giftige algoritmer . Men Facebook betaler for forskningen, og det er uoppriktig å late som om selskapet ikke er særlig interessert i søknaden.

Sam Gregory hos Witness, en menneskerettighetsorganisasjon som spesialiserer seg på videoteknologi, sier at denne teknologien kan være nyttig for tilskuere som dokumenterer protester eller overgrep fra politiet. Men han tror disse fordelene oppveies av bekymringer rundt kommersielle applikasjoner. Han bemerker at det er mulig å identifisere enkeltpersoner ut fra hvordan de holder et videokamera. Gaze-data ville være enda mer avslørende: Det er en veldig sterk indikator på interesse, sier han. Hvordan vil blikkdata lagres? Hvem vil den være tilgjengelig for? Hvordan kan det behandles og brukes?

Facebooks omdømme og kjernevirksomhetsmodell ringer mange alarmklokker, sier Rory Mir ved Electronic Frontier Foundation. På dette tidspunktet er mange klar over Facebooks dårlige resultater når det gjelder personvern, og deres bruk av overvåking for å påvirke brukere – både for å holde brukere hekta og for å selge denne innflytelsen til sine betalende kunder, annonsørene. Når det kommer til utvidet og virtuell virkelighet, søker Facebook etter et konkurransefortrinn, sier Mir: Det er viktig å utvide mengden og typene data den samler inn.

På spørsmål om planene sine, var Facebook ikke overraskende ordknapp: Ego4D er ren forskning for å fremme fremskritt i det bredere vitenskapelige samfunnet, sier en talsperson. Vi har ikke noe å dele i dag om produktapplikasjoner eller kommersiell bruk.

gjemme seg