Real-Time Interactions Between Human Controllers and Remote Devices in Metaverse

要約

人間のコントローラーとリモート デバイス間のリアルタイムの対話をサポートすることは、コンピューティング ワークロード、通信スループット、往復遅延に関する厳しい要件のため、メタバースでは依然として困難な目標です。
この論文では、メタバースの仮想モデルを介したリアルタイム インタラクションのための新しいフレームワークを確立します。
具体的には、1) メタバースでのプロアクティブ レンダリング、2) 現実世界のリモート デバイスへの制御コマンドの事前生成のために、ヒューマン コントローラーの動きを共同で予測します。
仮想モデルは、それぞれレンダリングと制御のための 2 つのコンポーネントに分離されます。
レンダリングと制御の予測範囲を動的に調整するために、2 段階の人間参加型の継続的強化学習アプローチを開発し、エキスパート ポリシーを使用してトレーニング効率を向上させます。
さまざまな通信遅延でアルゴリズムを検証するために、実験用プロトタイプが構築されています。
予測なしのベースライン ポリシーと比較して、私たちの提案方法は、1) 人間の動きとレンダリング フィードバックの間の Motion-To-Photon (MTP) レイテンシ、および 2) 人間の動きと現実世界のリモート間の二乗平均平方根誤差 (RMSE) を削減できます。
デバイスを大幅に保護します。

要約(オリジナル)

Supporting real-time interactions between human controllers and remote devices remains a challenging goal in the Metaverse due to the stringent requirements on computing workload, communication throughput, and round-trip latency. In this paper, we establish a novel framework for real-time interactions through the virtual models in the Metaverse. Specifically, we jointly predict the motion of the human controller for 1) proactive rendering in the Metaverse and 2) generating control commands to the real-world remote device in advance. The virtual model is decoupled into two components for rendering and control, respectively. To dynamically adjust the prediction horizons for rendering and control, we develop a two-step human-in-the-loop continuous reinforcement learning approach and use an expert policy to improve the training efficiency. An experimental prototype is built to verify our algorithm with different communication latencies. Compared with the baseline policy without prediction, our proposed method can reduce 1) the Motion-To-Photon (MTP) latency between human motion and rendering feedback and 2) the root mean squared error (RMSE) between human motion and real-world remote devices significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google