Facebooks Live-Action-kamerasystemer lar deg ta skritt på virtuelle steder

Virtual reality har et bildeproblem.

Mens mange kameraer der ute tar sfæriske opptak av virkelige scener som du deretter kan se på i VR (se 10 Breakthrough Technologies 2017: The 360-Degree Selfie), fanger de fleste av dem ikke også dybdedata. Dette betyr at hvis du har på deg et eksklusivt virtual reality-hodesett som Oculus Rift og ser på en sfærisk video av for eksempel Eiffeltårnet (i stedet for en datamaskin-gjengitt versjon av det), vil bildet bevege seg med deg når du huker, hopper eller går fra side til side. Dette er i beste fall irriterende, og i verste fall kvalmefremkallende.

Facebook, som har vært en av de største forkjemperne for virtuell virkelighet siden kjøpet av hodesettprodusenten Oculus i 2014, har som mål å fikse dette med to nye sfæriske kamerasystemer som ble avduket onsdag. Begge tar opp live-action-opptak som lar deg bevege deg rundt på omtrent halvannen meter plass i virtuell virkelighet. Selskapet planlegger å sette dem i produksjon senere i år.

Kalt X24 og X6 (tallene refererer til antallet individuelle kameraer i hver modell), kan kamerasystemene gjøre virtuelle opplevelser som å se konserter, besøke kjente landemerker eller å utforske museer mye mer engasjerende, enten du gjør det på egen hånd eller med en annen person. Du trenger fortsatt et hodesett som kan spore posisjonen din i rommet og rotasjonen av hodet ditt, for å virkelig dra nytte av opptakene.

Det vi prøver å gjøre med VR generelt er å bringe folk opp i fordypningskurven, sa Facebooks teknologisjef Mike Schroepfer . Sluttvisjonen er [å få deg] så nært du kan føle at du faktisk er der.

En håndfull selskaper har allerede bygget avanserte kameraer for å fange live-action virtuell virkelighet, som f.eks Nokias Ozo kamera, Googles Jump og Lytro's Immerge (se Lytro bygger et kamera for å fange live-action virtuell virkelighet). Men bare et par (Lytro er en av dem) påstår å filme opptak og registrere dybdeinformasjon slik Facebook sier at X24 og X6 gjør, og ingen selskaper har ennå popularisert en slik enhet.

Mens X24 og X6 er ment for profesjonelle, sa Schroepfer at teknologien til slutt også vil føre til forbrukerprodukter.

De nye kamerasystemene, som ble introdusert på Facebooks årlige F8-utviklerkonferanse, kommer et år etter at det sosiale nettverket rullet ut sin UFO-lignende Surround 360 , som hadde 17 kameraer og var ment å ta skarpe, sfæriske 3D-bilder. Facebook solgte ikke Surround 360, men det gjorde teknologien tilgjengelig via GitHub for alle som ønsket å lage en med hylledeler.

Surround 360 inkluderte imidlertid ikke den typen 3D-informasjon som X24 og X6 vil ta opp. Med sine linseposisjoner og tilhørende programvare kan de nye systemene rekonstruere hvordan verden skal se ut mens du beveger deg rundt, sa Schroepfer.

I demoer av rå opptak tatt med X24 som jeg så gjennom et Oculus Rift-headset forrige uke, så jeg en sfærisk scene av en frodig regnskogsutstilling fra utsiktspunktet til en catwalk nær toppen av utstillingen, med sommerfugler som fløy forbi, som samt en tunnel inne i et akvarium med fisk som svømmer rundt. Fordi opptakene inkluderte dybdeinformasjon og headsettet kan spore bevegelser med seks frihetsgrader, kunne jeg bevege meg rundt i kulissene, sjekke ut trærne i regnskogen, turistene på benker i tunnelen, og fisk som vandret over og rundt oss.

Mye av opptakene så skarpe ut, og det var veldig kult å kunne bevege seg fritt rundt i en naturtro scene. Likevel trenger teknologien fortsatt arbeid, eller i det minste litt redigering for å rydde opp i opptakene: løvet i regnskogen så for eksempel stripete ut, og jeg la merke til noe glitrende andre steder også.

Brian Cabral , Facebooks ingeniørsjef og leder for teamet som laget enhetene, sa at det fysiske arrangementet av kameraene gjør det mulig å fange hver piksel i en gitt scene fra mange forskjellige vinkler, og deretter brukes matematikk for å estimere dybden.

Når du vet hvor det er i scenen, kan du bevege deg rundt, sa han og la til at skimringen vil bli ryddet opp etter hvert som systemene går i produksjon.

Cabral sa at Facebook vil lisensiere teknologien til flere partnere som ennå ikke er navngitt, slik at de kan lage kameraer.

Tanken er å ha flere modeller for å dyrke økosystemet, sa han.

gjemme seg