View Consistency Aware Holistic Triangulation for 3D Human Pose Estimation

要約

マルチビュー 3D 人間姿勢推定 (HPE) の急速な発展は、単眼 2D HPE の成熟と 3D 再構成のジオメトリに起因します。
ただし、ビューの一貫性を無視することによる遮られたビューでの 2D 検出の異常値と、ポーズの一貫性の欠如による 3D の信じられないポーズは、課題のままです。
これを解決するために、マルチビュー フュージョン モジュールを導入して、ビューの相関関係を確立することで 2D 結果を絞り込みます。
次に、ポーズ全体を全体として推測するためにホリスティック三角測量が提案され、ポーズの一貫性を維持し、妥当性を改善するために事前解剖学が注入されます。
事前の解剖学は、入力が骨格構造の特徴である PCA によって抽出されます。これにより、抽象から具体的なグローバル コンテキストと関節ごとの関係を抽出できます。
クローズド フォーム ソリューションの恩恵を受けて、フレームワーク全体がエンドツーエンドでトレーニングされます。
私たちの方法は、新しい測定基準によって評価される精度と妥当性の両方で最先端技術を上回っています。

要約(オリジナル)

The rapid development of multi-view 3D human pose estimation (HPE) is attributed to the maturation of monocular 2D HPE and the geometry of 3D reconstruction. However, 2D detection outliers in occluded views due to neglect of view consistency, and 3D implausible poses due to lack of pose coherence, remain challenges. To solve this, we introduce a Multi-View Fusion module to refine 2D results by establishing view correlations. Then, Holistic Triangulation is proposed to infer the whole pose as an entirety, and anatomy prior is injected to maintain the pose coherence and improve the plausibility. Anatomy prior is extracted by PCA whose input is skeletal structure features, which can factor out global context and joint-by-joint relationship from abstract to concrete. Benefiting from the closed-form solution, the whole framework is trained end-to-end. Our method outperforms the state of the art in both precision and plausibility which is assessed by a new metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google