Recovering 3D Human Mesh from Monocular Images: A Survey

要約

単眼画像から人間の姿勢や形状を推定することは、コンピューター ビジョンにおける長年の問題です。
統計的人体モデルのリリース以来、3D ヒューマン メッシュの復元は幅広い注目を集めています。
適切に位置合わせされた物理的に妥当なメッシュ結果を取得するという同じ目標のもと、2D から 3D へのリフティング プロセスの課題を克服するために 2 つのパラダイムが開発されました。 i) 最適化ベースのパラダイム。異なるデータ項と正則化項が利用されます。
最適化の目標として。
ii) 回帰ベースのパラダイム。エンドツーエンドの方法で問題を解決するために深層学習技術が採用されます。
一方で、幅広いデータセットの 3D メッシュ ラベルの品質を向上させるために継続的な努力が払われています。
過去 10 年間で目覚ましい進歩が遂げられましたが、柔軟な体の動き、多様な外観、複雑な環境、および現場での注釈が不十分であるため、この課題は依然として困難です。
私たちの知る限り、これは単眼 3D ヒューマン メッシュの復元タスクに焦点を当てた初めての調査です。
私たちはボディモデルの紹介から始めて、その後、その長所と短所を徹底的に分析することで、リカバリーのフレームワークとトレーニングの目標を精緻化します。
データセット、評価指標、ベンチマーク結果もまとめています。
未解決の問題と将来の方向性が最後に議論され、研究者のモチベーションを高め、この分野での研究を促進することを期待しています。
定期的に更新されるプロジェクト ページは、https://github.com/tinatiansjz/hmr-survey にあります。

要約(オリジナル)

Estimating human pose and shape from monocular images is a long-standing problem in computer vision. Since the release of statistical body models, 3D human mesh recovery has been drawing broader attention. With the same goal of obtaining well-aligned and physically plausible mesh results, two paradigms have been developed to overcome challenges in the 2D-to-3D lifting process: i) an optimization-based paradigm, where different data terms and regularization terms are exploited as optimization objectives; and ii) a regression-based paradigm, where deep learning techniques are embraced to solve the problem in an end-to-end fashion. Meanwhile, continuous efforts are devoted to improving the quality of 3D mesh labels for a wide range of datasets. Though remarkable progress has been achieved in the past decade, the task is still challenging due to flexible body motions, diverse appearances, complex environments, and insufficient in-the-wild annotations. To the best of our knowledge, this is the first survey that focuses on the task of monocular 3D human mesh recovery. We start with the introduction of body models and then elaborate recovery frameworks and training objectives by providing in-depth analyses of their strengths and weaknesses. We also summarize datasets, evaluation metrics, and benchmark results. Open issues and future directions are discussed in the end, hoping to motivate researchers and facilitate their research in this area. A regularly updated project page can be found at https://github.com/tinatiansjz/hmr-survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google