PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images

要約

回帰ベースの方法では、フィードフォワード方式で生のピクセルをモデルパラメータに直接マッピングすることにより、単眼画像から身体、手、さらには全身のモデルを推定できます。
ただし、パラメータのわずかな偏差は、特に全身メッシュの回復のコンテキストでは、推定されたメッシュと入力画像の間に顕著な不整合を引き起こす可能性があります。
この問題に対処するために、回帰ネットワークでピラミッド型メッシュアライメントフィードバック（PyMAF）ループを提案して、人間のメッシュを適切に復元し、表現力豊かな全身モデルを復元するためにPyMAF-Xに拡張します。
PyMAFの中心的なアイデアは、機能ピラミッドを活用し、メッシュ画像の位置合わせステータスに基づいて予測されたパラメータを明示的に修正することです。
具体的には、現在予測されているパラメータが与えられると、メッシュに沿った証拠がそれに応じてより細かい解像度の特徴から抽出され、パラメータの修正のためにフィードバックされます。
アラインメントの認識を強化するために、補助的な高密度監視を使用してメッシュと画像の対応ガイダンスを提供し、空間的なアラインメントの注意を導入して、ネットワークのグローバルコンテキストを認識できるようにします。
全身メッシュ回復のためにPyMAFを拡張する場合、PyMAF-Xで適応統合戦略が提案され、肘のねじれの回転を調整します。これにより、パーツ固有の推定のパフォーマンスを適切に調整しながら、自然な手首のポーズが生成されます。
私たちのアプローチの有効性は、PyMAFとPyMAF-Xがメッシュ画像の位置合わせを効果的に改善し、新しい最先端の結果を達成する、身体のみおよび全身のメッシュ回復のためのいくつかのベンチマークデータセットで検証されています。
コードとビデオの結果が記載されたプロジェクトページは、https：//www.liuyebin.com/pymaf-xにあります。

要約(オリジナル)

Regression-based methods can estimate body, hand, and even full-body models from monocular images by directly mapping raw pixels to the model parameters in a feed-forward manner. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and input images, especially in the context of full-body mesh recovery. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop in our regression network for well-aligned human mesh recovery and extend it to PyMAF-X for the recovery of expressive full-body models. The core idea of PyMAF is to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status. Specifically, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To enhance the alignment perception, an auxiliary dense supervision is employed to provide mesh-image correspondence guidance while a spatial alignment attention is introduced to enable the awareness of the global contexts for our network. When extending PyMAF for full-body mesh recovery, an adaptive integration strategy is proposed in PyMAF-X to adjust the elbow-twist rotations, which produces natural wrist poses while maintaining the well-aligned performance of the part-specific estimations. The efficacy of our approach is validated on several benchmark datasets for body-only and full-body mesh recovery, where PyMAF and PyMAF-X effectively improve the mesh-image alignment and achieve new state-of-the-art results. The project page with code and video results can be found at https://www.liuyebin.com/pymaf-x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google