EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere

要約

頭と手のポーズだけから全身の自己中心的なポーズを推定することは、ヘッドセットベースのプラットフォーム上で明確なアバター表現を強化するための活発な研究分野となっています。
しかし、既存の手法は、データセットが記録された屋内のモーション キャプチャ空間に過度に依存しており、同時に連続的な関節モーション キャプチャと均一な身体寸法を前提としています。
私たちは、4 つの主要な貢献によってこれらの制限を克服する EgoPoser を提案します。
1) EgoPoser は、ヘッドセットの視野内にある場合にのみ、断続的な手の位置と方向の追跡から体の姿勢を堅牢にモデル化します。
2) ヘッドセットベースのエゴポーズ推定のための入力表現を再考し、グローバル位置に依存せず全身ポーズを予測する新しいグローバルモーション分解方法を導入します。
3) 計算効率を維持する効率的な SlowFast モジュール設計を通じて、より長い動きの時系列をキャプチャすることで姿勢推定を強化します。
4) EgoPoser は、さまざまなユーザーのさまざまな体型に汎用化します。
私たちはこの手法を実験的に評価し、600fps を超える高い推論速度を維持しながら、定性的および定量的の両方で最先端の手法を上回るパフォーマンスを示すことを示しました。
EgoPoser は、全身姿勢推定がアウトサイドイン キャプチャに依存する必要がなくなり、大規模で目に見えない環境に拡張できる、将来の作業のための堅牢なベースラインを確立します。

要約(オリジナル)

Full-body egocentric pose estimation from head and hand poses alone has become an active area of research to power articulate avatar representations on headset-based platforms. However, existing methods over-rely on the indoor motion-capture spaces in which datasets were recorded, while simultaneously assuming continuous joint motion capture and uniform body dimensions. We propose EgoPoser to overcome these limitations with four main contributions. 1) EgoPoser robustly models body pose from intermittent hand position and orientation tracking only when inside a headset’s field of view. 2) We rethink input representations for headset-based ego-pose estimation and introduce a novel global motion decomposition method that predicts full-body pose independent of global positions. 3) We enhance pose estimation by capturing longer motion time series through an efficient SlowFast module design that maintains computational efficiency. 4) EgoPoser generalizes across various body shapes for different users. We experimentally evaluate our method and show that it outperforms state-of-the-art methods both qualitatively and quantitatively while maintaining a high inference speed of over 600fps. EgoPoser establishes a robust baseline for future work where full-body pose estimation no longer needs to rely on outside-in capture and can scale to large-scale and unseen environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google