QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors

要約

ウェアラブル センサーのみからユーザーのポーズを複製することは、多くの AR/VR アプリケーションにとって重要です。
モーション追跡のための既存の方法のほとんどは、複雑な力学と厳しい制約のため、足と床の接触以外の環境相互作用を回避します。
しかし、日常生活において、人は定期的に環境と相互作用します。
ソファに座ったり、机にもたれたりして。
強化学習を使用して、ヘッドセットとコントローラーのポーズを物理シミュレーションや環境観察と組み合わせると、非常に制約された環境でも現実的な全身ポーズを生成できることを示します。
物理シミュレーションでは、多くの運動学的アプローチのように手動で制約を指定するのではなく、現実的なポーズに必要なさまざまな制約が自動的に適用されます。
これらの厳しい制約により、貫通や接触滑りなどの典型的なアーティファクトを発生させることなく、高品質のインタラクション モーションを実現できます。
この手法のパフォーマンスに重要な、環境表現、接触報酬、シーンのランダム化という 3 つの機能について説明します。
椅子、ソファ、箱に座る、箱をまたぐ、椅子を揺らす、オフィスチェアを回転させるなど、さまざまな例を通じてアプローチの一般性を示します。
これらは、シーン インタラクションを伴うまばらなセンサーからのモーション トラッキングで達成された最高品質の結果の一部であると私たちは信じています。

要約(オリジナル)

Replicating a user’s pose from only wearable sensors is important for many AR/VR applications. Most existing methods for motion tracking avoid environment interaction apart from foot-floor contact due to their complex dynamics and hard constraints. However, in daily life people regularly interact with their environment, e.g. by sitting on a couch or leaning on a desk. Using Reinforcement Learning, we show that headset and controller pose, if combined with physics simulation and environment observations can generate realistic full-body poses even in highly constrained environments. The physics simulation automatically enforces the various constraints necessary for realistic poses, instead of manually specifying them as in many kinematic approaches. These hard constraints allow us to achieve high-quality interaction motions without typical artifacts such as penetration or contact sliding. We discuss three features, the environment representation, the contact reward and scene randomization, crucial to the performance of the method. We demonstrate the generality of the approach through various examples, such as sitting on chairs, a couch and boxes, stepping over boxes, rocking a chair and turning an office chair. We believe these are some of the highest-quality results achieved for motion tracking from sparse sensor with scene interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google