DiffBody: Human Body Restoration by Imagining with Generative Diffusion Prior

要約

人体復元は、人体に関連する様々なアプリケーションにおいて重要な役割を果たしている。近年、生成モデルを用いた一般的な画像復元の進歩にもかかわらず、人体復元におけるその性能は平凡なままであり、前景と背景のブレンド、表面テクスチャの過剰平滑化、アクセサリの欠落、手足の歪みなどがしばしば生じる。これらの課題に対処するために、我々は、パフォーマンスを向上させるためにドメイン固有の知識を活用する人体認識拡散モデルを構築することにより、新しいアプローチを提案する。具体的には、被写体と背景の間のブレンドによって引き起こされる問題に対処するために、前景への拡散モデルのフォーカスを導くために、事前に訓練された身体注意モジュールを採用する。また、拡散モデルの言語モダリティを復元タスクで見直すことの価値を、テキストプロンプトをシームレスに組み込むことで、表面テクスチャや追加的な衣服やアクセサリーの詳細の品質を向上させることで実証する。さらに、四肢の歪みを修正するために局所的な意味情報を利用する、きめ細かい人体部位用に調整された拡散サンプラーを紹介する。最後に、人体復元分野のベンチマークと発展のための包括的なデータセットを収集する。広範な実験的検証により、本アプローチが既存の手法よりも定量的にも定性的にも優れていることを示す。

要約(オリジナル)

Human body restoration plays a vital role in various applications related to the human body. Despite recent advances in general image restoration using generative models, their performance in human body restoration remains mediocre, often resulting in foreground and background blending, over-smoothing surface textures, missing accessories, and distorted limbs. Addressing these challenges, we propose a novel approach by constructing a human body-aware diffusion model that leverages domain-specific knowledge to enhance performance. Specifically, we employ a pretrained body attention module to guide the diffusion model’s focus on the foreground, addressing issues caused by blending between the subject and background. We also demonstrate the value of revisiting the language modality of the diffusion model in restoration tasks by seamlessly incorporating text prompt to improve the quality of surface texture and additional clothing and accessories details. Additionally, we introduce a diffusion sampler tailored for fine-grained human body parts, utilizing local semantic information to rectify limb distortions. Lastly, we collect a comprehensive dataset for benchmarking and advancing the field of human body restoration. Extensive experimental validation showcases the superiority of our approach, both quantitatively and qualitatively, over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL