Predictive Context-Awareness for Full-Immersive Multiuser Virtual Reality with Redirected Walking

要約

バーチャル リアリティ (VR) テクノロジーの進歩は、没入感の向上、マルチユーザー仮想エクスペリエンス (VE) のサポート、およびリダイレクト ウォーキング (RDW) によって特殊な VR セットアップ内に制限されたままユーザーが VE 内を自由に移動できるようにすることに焦点を当てています。
将来の VR システムでは、極端なデータ レートと遅延の要件を満たすために、ビームフォーミングとビームステアリングを介した送信と受信の両方で高指向性通信を活用するミリ波 (mmWave) 周波数で動作するワイヤレス ネットワーキング インフラストラクチャをサポートする必要があります。
私たちは、送信機側と受信機側のビームフォーミングとビームステアリングを最適化するために、予測コンテキスト認識の使用を提案します。
Redirected Walking (RDW) を使用してマルチユーザー VR セットアップにおけるユーザーの短期的な横方向の動きを予測することで、ユーザーの方向の Line-of-Sight (LoS) の「追跡」を通じて送信機側のビームフォーミングとビームステアリングを最適化できます。
同時に、短期的な方向の動きの予測を受信機側のビームフォーミングに利用して、カバレッジの柔軟性を高めることができます。
我々は、これら 2 つのコンテキスト情報インスタンスを予測する際の 2 つの未解決の問題をターゲットにしています。i) RDW を使用したマルチユーザー VR 設定における横方向の動きの予測、および ii) 向きの動きの予測子をトレーニングするための合成頭部回転データセットの生成です。
私たちの実験結果は、長短期記憶 (LSTM) ネットワークが横方向の動きを予測する際に有望な精度を備えており、VE から生じるコンテキスト認識がこの精度をさらに高めることを示しています。
さらに、方向性データ生成のための TimeGAN ベースのアプローチにより、実験的に得られたものとよく一致する合成サンプルを作成できることを示します。

要約(オリジナル)

The advancement of Virtual Reality (VR) technology is focused on improving its immersiveness, supporting multiuser Virtual Experiences (VEs), and enabling the users to move freely within their VEs while still being confined within specialized VR setups through Redirected Walking (RDW). To meet their extreme data-rate and latency requirements, future VR systems will require supporting wireless networking infrastructures operating in millimeter Wave (mmWave) frequencies that leverage highly directional communication in both transmission and reception through beamforming and beamsteering. We propose the use of predictive context-awareness to optimize transmitter and receiver-side beamforming and beamsteering. By predicting users’ short-term lateral movements in multiuser VR setups with Redirected Walking (RDW), transmitter-side beamforming and beamsteering can be optimized through Line-of-Sight (LoS) ‘tracking’ in the users’ directions. At the same time, predictions of short-term orientational movements can be utilized for receiver-side beamforming for coverage flexibility enhancements. We target two open problems in predicting these two context information instances: i) predicting lateral movements in multiuser VR settings with RDW, and ii) generating synthetic head rotation datasets for training orientational movements predictors. Our experimental results demonstrate that Long Short-Term Memory (LSTM) networks feature promising accuracy in predicting lateral movements, and context-awareness stemming from VEs further enhances this accuracy. Additionally, we show that a TimeGAN-based approach for orientational data generation can create synthetic samples that closely match experimentally obtained ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google