Real-Time Simulated Avatar from Head-Mounted Sensors

要約

AR / VR ヘッドセットから得られる情報（ヘッドセットの姿勢やカメラ）から模擬アバターを制御する手法 SimXR を紹介します。
ヘッドマウント カメラは視点が難しいため、人体が視界から切り取られることが多く、従来の画像ベースの自己中心的な姿勢推定が困難になっています。
一方、ヘッドセットのポーズは体全体の動きに関する貴重な情報を提供しますが、手と足についてのきめ細かい詳細が欠けています。
ヘッドセットのポーズとカメラを相乗させるために、入力画像を分析して体の動きを決定しながら、ヒューマノイドを制御してヘッドセットの動きを追跡します。
体の一部が見えるとき、手と足の動きはイメージによって導かれます。
目に見えないときは、物理法則がコントローラーを導き、納得のいく動きを生成します。
私たちは、中間表現に依存せず、画像とヘッドセットのポーズからヒューマノイドの制御信号に直接マッピングする方法を学習するエンドツーエンドの方法を設計します。
私たちの手法をトレーニングするために、市販の VR ヘッドセット (Quest 2) と互換性のあるカメラ構成を使用して作成された大規模な合成データセットも提案し、現実世界のキャプチャで有望な結果を示します。
私たちのフレームワークの適用性を実証するために、前向きカメラを備えた AR ヘッドセットでもテストします。

要約(オリジナル)

We present SimXR, a method for controlling a simulated avatar from information (headset pose and cameras) obtained from AR / VR headsets. Due to the challenging viewpoint of head-mounted cameras, the human body is often clipped out of view, making traditional image-based egocentric pose estimation challenging. On the other hand, headset poses provide valuable information about overall body motion, but lack fine-grained details about the hands and feet. To synergize headset poses with cameras, we control a humanoid to track headset movement while analyzing input images to decide body movement. When body parts are seen, the movements of hands and feet will be guided by the images; when unseen, the laws of physics guide the controller to generate plausible motion. We design an end-to-end method that does not rely on any intermediate representations and learns to directly map from images and headset poses to humanoid control signals. To train our method, we also propose a large-scale synthetic dataset created using camera configurations compatible with a commercially available VR headset (Quest 2) and show promising results on real-world captures. To demonstrate the applicability of our framework, we also test it on an AR headset with a forward-facing camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google