EnvPoser: Environment-aware Realistic Human Motion Estimation from Sparse Observations with Uncertainty Modeling

要約

VR デバイスからの頭と手の追跡信号を使用して全身の動きを推定することは、さまざまなアプリケーションへの大きな可能性を秘めています。
ただし、観測値のまばらさと独特の分布は重大な課題を提示し、複数の実行可能な解決策 (つまり、仮説) を伴う不適切な問題が発生します。
これにより、特に下半身の関節における全身動作の推定における不確実性と曖昧さが増幅されます。
そこで、我々は、VR デバイスからのまばらなトラッキング信号と事前スキャンされた環境を使用して全身運動推定を実行する 2 段階のフレームワークを採用した新しい方法 EnvPoser を提案します。
EnvPoser は、第 1 段階の不確実性を考慮した推定モジュールを通じて、人間の動きの複数の仮説の性質をモデル化します。
第 2 段階では、意味論的および幾何学的環境制約を統合することによってこれらの複数の仮説推定を改良し、最終的な動作推定が環境コンテキストと物理的相互作用の両方と現実的に一致することを保証します。
2 つの公開データセットでの定性的および定量的実験は、私たちの方法が最先端のパフォーマンスを達成することを実証し、運動環境相互作用シナリオ内での人間の運動推定の大幅な改善を強調しています。

要約(オリジナル)

Estimating full-body motion using the tracking signals of head and hands from VR devices holds great potential for various applications. However, the sparsity and unique distribution of observations present a significant challenge, resulting in an ill-posed problem with multiple feasible solutions (i.e., hypotheses). This amplifies uncertainty and ambiguity in full-body motion estimation, especially for the lower-body joints. Therefore, we propose a new method, EnvPoser, that employs a two-stage framework to perform full-body motion estimation using sparse tracking signals and pre-scanned environment from VR devices. EnvPoser models the multi-hypothesis nature of human motion through an uncertainty-aware estimation module in the first stage. In the second stage, we refine these multi-hypothesis estimates by integrating semantic and geometric environmental constraints, ensuring that the final motion estimation aligns realistically with both the environmental context and physical interactions. Qualitative and quantitative experiments on two public datasets demonstrate that our method achieves state-of-the-art performance, highlighting significant improvements in human motion estimation within motion-environment interaction scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google