Predictive Context-Awareness for Full-Immersive Multiuser Virtual Reality with Redirected Walking

要約

【タイトル】リダイレクトウォーキングを用いたフルイマーシブなマルチユーザー仮想現実のための予測的コンテキスト認識

【要約】
– 仮想現実（VR）技術の進歩は、その没入性を向上させ、マルチユーザー仮想体験（VE）をサポートし、リダイレクトウォーキング（RDW）を介して特殊なVRセットアップ内に閉じ込められながらユーザーが自由に移動できるようにすることに焦点を当てている。
– 市場が拡大する中、VR技術が将来的に無線ネットワークインフラストラクチャで使用されるようになることが予想されます。
– マルチユーザーVR環境におけるユーザーの短期的な横方向の動きを予測することで、送信サイドのビームフォーミングとビームステアリングを最適化することが提案されている。
– 同時に、オリエンテーション動きの予測を受信サイドのビームフォーミングに利用することで、カバレッジの柔軟性を高めることができる。
– 予測モデルの精度を向上させるため、短期的なオリエンテーション動きの合成ヘッドローテーションデータセットの作成が必要です。
– 実験結果により、LSTMネットワークが短期的な横方向の動きを予測する際に良好な精度を示し、VEからのコンテキスト認識により、さらに精度が向上することが示されている。また、TimeGANベースのアプローチを用いることで、合成サンプルを生成することで、実験的に得られたものに近い合成ヘッドローテーションデータセットを作成することができる。

要約(オリジナル)

The advancement of Virtual Reality (VR) technology is focused on improving its immersiveness, supporting multiuser Virtual Experiences (VEs), and enabling the users to move freely within their VEs while still being confined within specialized VR setups through Redirected Walking (RDW). To meet their extreme data-rate and latency requirements, future VR systems will require supporting wireless networking infrastructures operating in millimeter Wave (mmWave) frequencies that leverage highly directional communication in both transmission and reception through beamforming and beamsteering. We propose the use of predictive context-awareness to optimize transmitter and receiver-side beamforming and beamsteering. By predicting users’ short-term lateral movements in multiuser VR setups with Redirected Walking (RDW), transmitter-side beamforming and beamsteering can be optimized through Line-of-Sight (LoS) ‘tracking’ in the users’ directions. At the same time, predictions of short-term orientational movements can be utilized for receiver-side beamforming for coverage flexibility enhancements. We target two open problems in predicting these two context information instances: i) predicting lateral movements in multiuser VR settings with RDW, and ii) generating synthetic head rotation datasets for training orientational movements predictors. Our experimental results demonstrate that Long Short-Term Memory (LSTM) networks feature promising accuracy in predicting lateral movements, and context-awareness stemming from VEs further enhances this accuracy. Additionally, we show that a TimeGAN-based approach for orientational data generation can create synthetic samples that closely match experimentally obtained ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI