Learning Dense UV Completion for Human Mesh Recovery

要約

オクルージョンが存在する場合、単一の画像からヒューマン メッシュを再構築することは困難です。オクルージョンは、自分自身、物体、または他の人間によって引き起こされる可能性があります。
既存の方法では、人間の特徴を正確に分離できなかったり、特徴を完成させるための適切な監視が不足していたり​​します。
この論文では、密な対応マップを活用してオクルージョンを処理する 2 段階の方法である Dense Inpainting Human Mesh Recovery (DIMR) を提案します。
私たちの方法は、密な対応マップを利用して目に見える人間の特徴を分離し、注意ベースの特徴補完モジュールを使用して構造化 UV マップの密な人間上の人間の特徴を完成させます。
また、ネットワークが遮られていない特徴から学習するように導く特徴修復トレーニング手順も設計します。
私たちはいくつかのデータセットでこの方法を評価し、他の方法と比較して、重度に遮蔽されたシナリオの下でその優れたパフォーマンスを実証しました。
広範な実験により、私たちの方法は、大きく遮られた画像に対して以前の SOTA 方法よりも明らかに優れており、標準ベンチマーク (3DPW) で同等の結果が得られることが示されています。

要約(オリジナル)

Human mesh reconstruction from a single image is challenging in the presence of occlusion, which can be caused by self, objects, or other humans. Existing methods either fail to separate human features accurately or lack proper supervision for feature completion. In this paper, we propose Dense Inpainting Human Mesh Recovery (DIMR), a two-stage method that leverages dense correspondence maps to handle occlusion. Our method utilizes a dense correspondence map to separate visible human features and completes human features on a structured UV map dense human with an attention-based feature completion module. We also design a feature inpainting training procedure that guides the network to learn from unoccluded features. We evaluate our method on several datasets and demonstrate its superior performance under heavily occluded scenarios compared to other methods. Extensive experiments show that our method obviously outperforms prior SOTA methods on heavily occluded images and achieves comparable results on the standard benchmarks (3DPW).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google