GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild

要約

正確で不確実性を考慮した 3D 人体の姿勢推定は、真に安全かつ効率的な人間とロボットのインタラクションを可能にする鍵となります。
3D 人間の姿勢推定における現在の不確実性を考慮した手法は、身体の姿勢の不確実性を予測することに限定されており、身体の形状と根本の姿勢は事実上無視されています。
この研究では、GloPro を紹介します。これは、視覚的な手がかりと学習されたモーション モデルを効率的に融合することによって、形状、ポーズ、ルート ポーズを含む 3D ボディ メッシュの不確実性分布を予測する、私たちの知る限り最初のフレームワークです。
私たちは、この手法が世界座標系における人間の軌跡の精度の点で (深刻なオクルージョンが存在する場合でも) 最先端の手法を大幅に上回っており、一貫した不確実性分布を生成し、リアルタイムで実行できることを実証します。
私たちのコードは、https://github.com/smartroboticslab/GloPro で承認され次第リリースされます。

要約(オリジナル)

An accurate and uncertainty-aware 3D human body pose estimation is key to enabling truly safe but efficient human-robot interactions. Current uncertainty-aware methods in 3D human pose estimation are limited to predicting the uncertainty of the body posture, while effectively neglecting the body shape and root pose. In this work, we present GloPro, which to the best of our knowledge the first framework to predict an uncertainty distribution of a 3D body mesh including its shape, pose, and root pose, by efficiently fusing visual clues with a learned motion model. We demonstrate that it vastly outperforms state-of-the-art methods in terms of human trajectory accuracy in a world coordinate system (even in the presence of severe occlusions), yields consistent uncertainty distributions, and can run in real-time. Our code will be released upon acceptance at https://github.com/smartroboticslab/GloPro.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google