Predictive Context-Awareness for Full-Immersive Multiuser Virtual Reality with Redirected Walking

要約

タイトル：Predictive Context-Awareness for Full-Immersive Multiuser Virtual Reality with Redirected Walking

要約：

– VR技術は、それが使用される仮想環境の没入感を高め、マルチユーザー仮想体験(Virtual Experiences：VEs)を可能にし、Redirected Walking（RDW）によって制限された仮想環境内でユーザーの自由な移動をサポートする方向で進化を続けている。
– 将来のVRシステムの需要に応えるために高速かつ低遅延なワイヤレスネットワーク環境が必要とされ、mmWave周波数において高度に方向性が強い通信を実現するBeamformingとBeamsteeringを利用することが検討されている。
– 本論文では、Predictive Context-Awarenessを利用して、送信側と受信側のBeamformingとBeamsteeringの最適化を図ることを提案する。
– 特に、マルチユーザーVR環境でのユーザーの横方向の移動を短期予測し、LoSトラッキングによって送信側のBeamformingとBeamsteeringを最適化することができると主張する。
– 同時に、方向転換の短期予測は、受信側のBeamformingのカバー範囲を拡大するために利用できる。
– 本論文では、これらの二つの文脈情報を予測するための二つのオープンな問題があることを指摘する： i) RDWを持ったマルチユーザーVR環境での横方向の移動の予測、 ii) 既存の方向転換予測モデルのトレーニングに利用するための合成ヘッドローテーションデータセットの生成。
– 本論文では、長期記憶型ニューラルネットワーク(LSTM)による横方向移動予測が有望であることを実験的に示し、さらにVEsに由来する文脈意識がこの精度を向上させることを示している。
– 二つめに、Orientational Data GenerationのためのTimeGANアプローチによって、実験的に得られたものに近い合成サンプルを生成することができることを示す。

要約(オリジナル)

Virtual Reality (VR) technology is being advanced along the lines of enhancing its immersiveness, enabling multiuser Virtual Experiences (VEs), and supporting unconstrained mobility of the users in their VEs, while constraining them within specialized VR setups through Redirected Walking (RDW). For meeting the extreme data-rate and latency requirements of future VR systems, supporting wireless networking infrastructures will operate in millimeter Wave (mmWave) frequencies and leverage highly directional communication in both transmission and reception through beamforming and beamsteering. We propose to leverage predictive context-awareness for optimizing transmitter and receiver-side beamforming and beamsteering. In particular, we argue that short-term prediction of users’ lateral movements in multiuser VR setups with RDW can be utilized for optimizing transmitter-side beamforming and beamsteering through Line-of-Sight (LoS) ‘tracking’ in the users’ directions. At the same time, short-term prediction of orientational movements can be used for receiver-side beamforming for coverage flexibility enhancements. We target two open problems in predicting these two context information instances: i) lateral movement prediction in multiuser VR settings with RDW and ii) generation of synthetic head rotation datasets to be utilized in the training of existing orientational movements predictors. We follow by experimentally showing that Long Short-Term Memory (LSTM) networks feature promising accuracy in predicting lateral movements, as well as that context-awareness stemming from VEs further benefits this accuracy. Second, we show that a TimeGAN-based approach for orientational data generation can generate synthetic samples closely matching the experimentally obtained ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI