PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images

要約

単一の画像から全身パラメトリックモデルを復元するための回帰ベースのアプローチであるPyMAF-Xを紹介します。
わずかなパラメトリック偏差により、推定されたメッシュと入力画像の間に顕著な不整合が生じる可能性があるため、このタスクは非常に困難です。
さらに、パーツ固有の推定を全身モデルに統合する場合、既存のソリューションは、位置合わせを低下させるか、不自然な手首のポーズを生成する傾向があります。
これらの問題に対処するために、回帰ネットワークでピラミッド型メッシュアライメントフィードバック（PyMAF）ループを提案して、人間のメッシュを適切に復元し、表現力豊かな全身モデルを復元するためにPyMAF-Xとして拡張します。
PyMAFの中心的なアイデアは、機能ピラミッドを活用し、メッシュ画像の位置合わせステータスに基づいて予測されたパラメータを明示的に修正することです。
具体的には、現在予測されているパラメータが与えられると、メッシュに沿った証拠がそれに応じてより細かい解像度の特徴から抽出され、パラメータの修正のためにフィードバックされます。
アラインメントの認識を強化するために、補助的な高密度監視を使用してメッシュと画像の対応ガイダンスを提供し、空間的なアラインメントの注意を導入して、ネットワークのグローバルコンテキストを認識できるようにします。
全身メッシュ回復のためにPyMAFを拡張する場合、PyMAF-Xで適応統合戦略が提案され、パーツ固有の推定の適切に調整されたパフォーマンスを維持しながら、自然な手首のポーズを生成します。
私たちのアプローチの有効性は、PyMAFとPyMAF-Xがメッシュ画像の位置合わせを効果的に改善し、新しい最先端の結果を達成する、身体のみおよび全身のメッシュ回復のためのいくつかのベンチマークデータセットで検証されています。
コードとビデオの結果が記載されたプロジェクトページは、https：//www.liuyebin.com/pymaf-xにあります。

要約(オリジナル)

We present PyMAF-X, a regression-based approach to recovering a full-body parametric model from a single image. This task is very challenging since minor parametric deviation may lead to noticeable misalignment between the estimated mesh and the input image. Moreover, when integrating part-specific estimations to the full-body model, existing solutions tend to either degrade the alignment or produce unnatural wrist poses. To address these issues, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop in our regression network for well-aligned human mesh recovery and extend it as PyMAF-X for the recovery of expressive full-body models. The core idea of PyMAF is to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status. Specifically, given the currently predicted parameters, mesh-aligned evidence will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To enhance the alignment perception, an auxiliary dense supervision is employed to provide mesh-image correspondence guidance while spatial alignment attention is introduced to enable the awareness of the global contexts for our network. When extending PyMAF for full-body mesh recovery, an adaptive integration strategy is proposed in PyMAF-X to produce natural wrist poses while maintaining the well-aligned performance of the part-specific estimations. The efficacy of our approach is validated on several benchmark datasets for body-only and full-body mesh recovery, where PyMAF and PyMAF-X effectively improve the mesh-image alignment and achieve new state-of-the-art results. The project page with code and video results can be found at https://www.liuyebin.com/pymaf-x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google