Distribution-Aligned Diffusion for Human Mesh Recovery

要約

単一の RGB 画像から 3D ヒューマン メッシュを復元することは、深さの曖昧さと自己オクルージョンのため困難な作業であり、結果として不確実性が高くなります。
一方、拡散モデルは最近、ノイズの多い入力を段階的にノイズ除去することで高品質の出力を生成することに大きな成功を収めています。
彼らの能力に触発されて、私たちはヒューマン メッシュ回復のための拡散ベースのアプローチを探求し、メッシュ回復を逆拡散プロセスとして組み立てるヒューマン メッシュ ディフュージョン (HMDiff) フレームワークを提案します。
また、入力固有の分布情報を拡散プロセスに注入し、メッシュ回復タスクを簡素化するための有用な事前知識を提供する分布調整技術 (DAT) も提案します。
私たちの手法は、広く使用されている 3 つのデータセットで最先端のパフォーマンスを実現します。
プロジェクトページ: https://gongjia0208.github.io/HMDiff/。

要約(オリジナル)

Recovering a 3D human mesh from a single RGB image is a challenging task due to depth ambiguity and self-occlusion, resulting in a high degree of uncertainty. Meanwhile, diffusion models have recently seen much success in generating high-quality outputs by progressively denoising noisy inputs. Inspired by their capability, we explore a diffusion-based approach for human mesh recovery, and propose a Human Mesh Diffusion (HMDiff) framework which frames mesh recovery as a reverse diffusion process. We also propose a Distribution Alignment Technique (DAT) that injects input-specific distribution information into the diffusion process, and provides useful prior knowledge to simplify the mesh recovery task. Our method achieves state-of-the-art performance on three widely used datasets. Project page: https://gongjia0208.github.io/HMDiff/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google