Probablistic Restoration with Adaptive Noise Sampling for 3D Human Pose Estimation

要約

3次元人体姿勢推定（HPE）の精度とロバスト性は、2次元姿勢検出エラーと2次元から3次元へのイリーポーズ課題によって制限されており、多仮説HPE研究に大きな注目が集まっている。既存のほとんどのMH-HPE手法は、計算コストが高く、学習が困難な生成モデルに基づいている。本研究では、任意の軽量単一仮説モデルと統合可能な確率的復元3D人体姿勢推定フレームワーク（PRPose）を提案する。具体的には、PRPoseは弱教師付きアプローチを採用し、単一仮説HPEモデルにおける2Dから3Dへのリフティングプロセスの隠れた確率分布に適合させ、適応的なノイズサンプリング戦略を通じて、妥当な多仮説サンプルを効率的に生成するために、その分布を2Dポーズ入力に逆マッピングする。3D HPEベンチマーク（Human3.6MおよびMPI-INF-3DHP）を用いた広範な実験により、PRPoseの有効性と効率性が強調されています。コードはhttps://github.com/xzhouzeng/PRPose。

要約(オリジナル)

The accuracy and robustness of 3D human pose estimation (HPE) are limited by 2D pose detection errors and 2D to 3D ill-posed challenges, which have drawn great attention to Multi-Hypothesis HPE research. Most existing MH-HPE methods are based on generative models, which are computationally expensive and difficult to train. In this study, we propose a Probabilistic Restoration 3D Human Pose Estimation framework (PRPose) that can be integrated with any lightweight single-hypothesis model. Specifically, PRPose employs a weakly supervised approach to fit the hidden probability distribution of the 2D-to-3D lifting process in the Single-Hypothesis HPE model and then reverse-map the distribution to the 2D pose input through an adaptive noise sampling strategy to generate reasonable multi-hypothesis samples effectively. Extensive experiments on 3D HPE benchmarks (Human3.6M and MPI-INF-3DHP) highlight the effectiveness and efficiency of PRPose. Code is available at: https://github.com/xzhouzeng/PRPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL