Munich / Mountain View
. The BMW Group Technology Office USA in Mountain
View presents a research update with Meta’s Reality Labs Research,
demonstrating, for the first time, the ability to accurately display
stable virtual reality (VR) and mixed reality (MR) content to
passengers in a fast-moving car, even when making turns, going over
speed bumps, and accelerating. By integrating Meta Quest’s tracking
system with BMW’s sensor data, the researchers enabled a series of
stable “car-locked” gaming, entertainment, productivity, and
meditation experiences.
Bucureşti/München/Mountain View. Biroul de tehnologie
BMW Group SUA din Mountain View prezintă o actualizare a cercetării cu
Reality Labs Research de la Meta, demonstrând, pentru prima dată,
capacitatea de a afişa cu acurateţe pasagerilor conţinut stabil de
realitate virtuală (VR) şi realitate mixtă (MR) într-un automobil în
mişcare rapidă, chiar şi atunci când se parcurg drumuri cu viteză, se
trece peste denivelări sau se accelerează. Prin integrarea sistemului
de urmărire al Meta Quest cu datele de senzori ale BMW, cercetătorii
au permis o serie de experienţe stabile de jocuri, divertisment,
productivitate şi meditaţie.
Claus Dorrer, directorul BMW Group Technology Office USA din
Mountain View: "Este prea devreme pentru a spune exact
cum sau când această tehnologie va ajunge în mâinile clienţilor, dar
ne imaginăm o serie de scenarii de utilizare posibile pentru
dispozitivele XR din automobile - de la asistarea conducătorului în
localizarea maşinii într-o parcare aglomerată până la alertarea asupra
pericolelor de pe drum şi la apariţia unor informaţii importante
despre starea automobilului. Implicaţiile pentru ochelarii AR şi
dispozitive VR viitoare - atât pentru pasageri, cât şi pentru
conducători - sunt promiţătoare. Parteneriatul de cercetare cu Meta ne
va permite să descoperim cum ar putea arăta experienţele XR captivante
în viitor, în interiorul automobilului, şi să fim în avanposturile
integrării perfecte a unor astfel de dispozitive în maşini."
Prototipul de verificare al conceptului trece cu bine peste
principalele provocări tehnice
Căştile VR folosesc camere şi senzori de mişcare pentru a-şi înţelege
poziţia exactă, astfel încât atunci când utilizatorul îşi mişcă capul
sau se uită în jur, conţinutul virtual rămâne stabil. Cu toate
acestea, în automobilele care se mişcă rapid, senzorii căştilor sunt
confuzi din cauza semnale conflictuale de la mişcarea dispozitivului
în interiorul maşinii şi mişcarea maşinii în mediul său. Mai simplu
spus, senzorii de mişcare percep mişcarea, dar camerele nu
înregistrează acceaşi mişcare relativ la interiorul maşinii.
Această nepotrivire înseamnă că dispozitivele VR de astăzi nu pot
afişa conţinut virtual stabil atunci când sunt folosite în interiorul
unui automobile care se mişcă rapid, în special dacă acesta
accelerează, virează rapid sau întâlneşte denivelări pe drum.
Pentru a rezolva această provocare, cercetătorii BMW şi Meta au
colaborat pentru a încorpora informaţiile din matricea de senzori a
unui automobile BMW în sistemul de urmărire al Meta Quest Pro. Acest
lucru a permis sistemului de urmărire să calculeze simultan locaţia
dispozitivului în raport cu interiorul automobilului şi mişcarea
automobilului, permiţându-i să ancoreze cu precizie obiecte virtuale
într-o maşină în mişcare şi experienţe VR şi MR demo convingătoare
pentru pasageri.
Richard Newcombe, vicepreşedinte de cercetare ştiinţifică,
Reality Labs Research: "Prototipul nostru de cercetare
arată că putem permite experienţe distractive şi confortabile pentru
pasageri, care sunt ancorate de maşină în sine, inclusiv jocuri VR şi
MR, divertisment, productivitate şi chiar capacităţi de meditaţie.
Tehnologia are potenţialul de a transforma modul în care putem
interacţiona în siguranţă cu mediul nostru în timp ce călătorim şi, pe
măsură ce progresăm într-un conţinut de încredere stabil, pe drumul
către ochelari AR, sperăm că pasagerii vor putea vedea lucruri precum
marcaje pentru repere, restaurante, locuri de interes şi multe altele."
Combinarea datelor de mişcare generate de automobil cu capacităţile
senzorului de la căştile XR ne-a permis să reducem mişcarea
automobilului şi să urmărim mai precis mişcarea căştii într-o maşină.
În schimb, acest lucru ne-a permis să redăm conţinut care este
sincronizat cu mişcarea automobilului în timp real, atât în
interiorul, cât şi în exteriorul maşini la viteze mari, indiferent
dacă automobilul se află pe o stradă dreaptă şi plană sau pe un drum
accidentat, cu viraje strânse.
Acest prototip de test al conceptului demonstrează o gamă completă de
mişcări ale unei persoane în maşină (cunoscută sub numele de şase
grade de libertate) şi o experienţă XR care calculează simultan
locaţia căştilor în raport cu maşina şi locaţia maşinii în mişcare
faţă de mediu prin integrarea cu senzorii maşinii.
BMW Group a avut succes în dezvoltarea tehnologiilor digitale, cum ar
fi accesul la automobil bazat pe cheia digitală, şi în promovarea
standardizării industriei pentru astfel de inovaţii. Reţeaua globală
de birouri tehnologice a companiei a fost crucială în lansarea unor
astfel de proiecte de inovaţie. BMW Group este deschis să includă
parteneri suplimentari pentru a atinge obiectivul de a crea un
standard industrial pentru conectarea dispozitivelor electronice de
consum XR la automobile. Pentru potenţiala dezvoltare de serie, BMW
Group se angajează să respecte principiul confidenţialităţii prin
design. Aceasta înseamnă că, în dezvoltarea tuturor caracteristicilor
digitale, BMW Group ia măsuri pentru a se asigura că datele clienţilor
sunt protejate şi procesate în siguranţă, în conformitate cu cerinţele
de confidenţialitate a datelor, prin intermediul proceselor stabilite,
pe toate pieţele în care operează compania.
Link
către informaţiile Meta Reality Labs despre proiect.
Proof-of-concept prototype overcomes key technical
challenges.
VR headsets use cameras and motion sensors
to understand their exact position, so when the user moves their head
or looks around, the virtual content remains stable. However, in
fast-moving vehicles, the headset’s sensors get confused by
conflicting signals from the device’s movement within the car and the
vehicle’s movement in the world. Simply put, the headset’s motion
sensors think it is moving, but its cameras think it is standing still
when looking at the car’s interior.
That mismatch means today’s VR headsets can’t display stable
virtual content when travelling inside a fast-moving vehicle,
particularly if the vehicle accelerates, turns fast, or encounters
bumps on the road.
To solve this challenge, BMW and Meta researchers collaborated
to incorporate information from a BMW car’s sensor array into the
tracking system of a Meta Quest Pro. That allowed the tracking system
to simultaneously calculate the device’s location relative to the car
and the moving car’s location relative to the world, enabling it to
accurately anchor virtual objects to a moving car and demo compelling
VR and MR passenger experiences.
Richard Newcombe, Vice President of Research Science, Reality
Labs Research: “Our research prototype shows that we can
enable entertaining and comfortable passenger experiences that are
anchored to the car itself, including VR and MR gaming, entertainment,
productivity, and even meditation capabilities. The technology has the
potential to transform how we can safely interact with our environment
while traveling, and as we progress into reliable world-locked content
on the road to AR glasses, we’re hopeful it will be possible for
passengers to see things like markers for landmarks, restaurants,
places of interest, and more.”
Combining the movement data generated by the vehicle with XR
headset sensor capabilities allowed us to subtract the vehicle motion
and more accurately track the headset’s movement in a vehicle. That in
turn enabled us to render content which is synced to the movement of
the vehicle in real-time, both inside and outside of the vehicle at
high speeds, regardless of whether the vehicle is on a flat, straight
street or a bumpy road with sharp turns.
This proof-of-concept prototype demonstrates an in-car full
range of a person’s movements (known as six degrees of freedom) and an
XR experience that simultaneously calculates a headset’s location
relative to the car and the moving car’s location relative to the
world by integrating with the car’s sensors.
The BMW Group has been successful in pioneering digital
technologies like vehicle access based on the Digital Key and in
driving industry standardization for such innovations. The company’s
global network of technology offices has been crucial in kickstarting
such innovation projects. The BMW Group is open to including
additional partners in order to achieve the goal of creating an
industry standard for connecting XR consumer electronics devices to
vehicles. For potential series development, the BMW Group is committed
to the privacy-by-design principle. This means, in all digital feature
development, the BMW Group takes steps to ensure that customer data is
protected and securely processed in accordance with data privacy
requirements by means of established processes — across all the
markets in which the company operates.
Link to Meta Reality Labs information on the project.
