Benchmarking and Analyzing 3D Human Pose and Shape Estimation Beyond Algorithms

要約

3D の人間のポーズと形状の推定 (別名「ヒューマン メッシュ リカバリ」) は、大幅な進歩を遂げました。
研究者は主に新しいアルゴリズムの開発に焦点を当てていますが、関連する他の重要な要因にはあまり注意が払われていません。
これにより、最適なベースラインが得られなくなり、新しく設計された方法論の公正かつ忠実な評価が妨げられる可能性があります。
この問題に対処するために、この作業は、アルゴリズムを超えた 3 つの未調査の視点からの最初の包括的なベンチマーク調査を提示します。
1) データセット。
31 のデータセットの分析により、データ サンプルの明確な影響が明らかになりました。重要な属性 (多様なポーズ、形状、カメラの特性、バックボーン機能など) を特徴とするデータセットはより効果的です。
高品質のデータセットを戦略的に選択して組み合わせると、モデルのパフォーマンスが大幅に向上します。
2) バックボーン。
CNN からトランスフォーマーに至るまでの 10 のバックボーンを使用した実験では、近接タスクから学習した知識がヒューマン メッシュの復元に容易に適用できることが示されています。
3) トレーニング戦略。
適切な拡張技術と損失設計が重要です。
上記の調査結果により、比較的単純なモデルを使用して、3DPW テスト セットで 47.3 mm の PA-MPJPE を達成しました。
さらに重要なことは、アルゴリズムを公正に比較するための強力なベースラインと、将来的に効果的なトレーニング構成を構築するための推奨事項を提供することです。
コードベースは http://github.com/smplbody/hmr-benchmarks で入手できます

要約(オリジナル)

3D human pose and shape estimation (a.k.a. ‘human mesh recovery’) has achieved substantial progress. Researchers mainly focus on the development of novel algorithms, while less attention has been paid to other critical factors involved. This could lead to less optimal baselines, hindering the fair and faithful evaluations of newly designed methodologies. To address this problem, this work presents the first comprehensive benchmarking study from three under-explored perspectives beyond algorithms. 1) Datasets. An analysis on 31 datasets reveals the distinct impacts of data samples: datasets featuring critical attributes (i.e. diverse poses, shapes, camera characteristics, backbone features) are more effective. Strategical selection and combination of high-quality datasets can yield a significant boost to the model performance. 2) Backbones. Experiments with 10 backbones, ranging from CNNs to transformers, show the knowledge learnt from a proximity task is readily transferable to human mesh recovery. 3) Training strategies. Proper augmentation techniques and loss designs are crucial. With the above findings, we achieve a PA-MPJPE of 47.3 mm on the 3DPW test set with a relatively simple model. More importantly, we provide strong baselines for fair comparisons of algorithms, and recommendations for building effective training configurations in the future. Codebase is available at http://github.com/smplbody/hmr-benchmarks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google