Multi-view Pose Fusion for Occlusion-Aware 3D Human Pose Estimation

要約

人間とロボットの安全かつ効果的なコラボレーションを確保するには、堅牢な 3D 人間の姿勢推定が不可欠です。
ただし、これらのシナリオでは、強力なオクルージョンとカメラの視点が制限されているため、人間の正確な知覚は特に困難です。
現在の 3D 人間の姿勢推定アプローチは、このような状況ではかなり脆弱です。
この研究では、人間とロボットのコラボレーションのコンテキストにおけるロバストな 3D 人間の姿勢推定のための新しいアプローチを紹介します。
ノイズの多い 2D フィーチャの三角形分割に依存する代わりに、絶対単眼法によって提供される 3D スケルトンでマルチビュー フュージョンを実行します。
次に、手足の長さの対称制約を導入する再投影誤差の最適化によって、正確な 3D 姿勢推定が得られます。
私たちは公開データセット Human3.6M と、深刻なオクルージョン下で姿勢推定アルゴリズムをテストする目的で、カメラ ビューに合成オクルージョンを追加して派生した新しいバージョン Human3.6M-Occluded でアプローチを評価しました。
さらに、実際の人間とロボットのコラボレーション ワークセルでこの方法を検証します。この方法では、現在の 3D 人間の姿勢推定方法を大幅に上回っています。
私たちのアプローチは、最先端のマルチビュー人間姿勢推定技術を上回り、強力なオクルージョンを伴う困難なシナリオを処理する際に優れた機能を実証し、実際の人間とロボットのコラボレーション設定のための信頼性が高く効果的なソリューションを表します。

要約(オリジナル)

Robust 3D human pose estimation is crucial to ensure safe and effective human-robot collaboration. Accurate human perception,however, is particularly challenging in these scenarios due to strong occlusions and limited camera viewpoints. Current 3D human pose estimation approaches are rather vulnerable in such conditions. In this work we present a novel approach for robust 3D human pose estimation in the context of human-robot collaboration. Instead of relying on noisy 2D features triangulation, we perform multi-view fusion on 3D skeletons provided by absolute monocular methods. Accurate 3D pose estimation is then obtained via reprojection error optimization, introducing limbs length symmetry constraints. We evaluate our approach on the public dataset Human3.6M and on a novel version Human3.6M-Occluded, derived adding synthetic occlusions on the camera views with the purpose of testing pose estimation algorithms under severe occlusions. We further validate our method on real human-robot collaboration workcells, in which we strongly surpass current 3D human pose estimation methods. Our approach outperforms state-of-the-art multi-view human pose estimation techniques and demonstrates superior capabilities in handling challenging scenarios with strong occlusions, representing a reliable and effective solution for real human-robot collaboration setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google