HumanNorm: Learning Normal Diffusion Model for High-quality and Realistic 3D Human Generation

要約

拡散モデルを使用した最近のテキストから 3D への手法により、3D 人間の生成が大幅に進歩しました。
ただし、これらのアプローチは、3D 構造の理解が不足しているテキストから画像への拡散モデルの制限により、課題に直面しています。
その結果、これらの方法では高品質の人間生成を実現するのが難しく、滑らかなジオメトリと漫画のような外観が得られます。
この論文では、高品質でリアルな 3D 人間生成のための新しいアプローチである HumanNorm を提案します。
主なアイデアは、法線適応拡散モデルと法線整合拡散モデルを学習することで、モデルの 3D ジオメトリの 2D 認識を強化することです。
法線適応拡散モデルは、ビュー依存の身体認識テキストを含むユーザー プロンプトに対応する高忠実度の法線マップを生成できます。
法線位置合わせ拡散モデルは、法線マップに合わせて位置合わせされたカラー イメージを生成することを学習し、それによって物理的なジオメトリの詳細を現実的な外観に変換します。
提案された法線拡散モデルを活用して、漸進的ジオメトリ生成戦略と複数ステップのスコア蒸留サンプリング (SDS) 損失を考案し、3D 人間生成のパフォーマンスを向上させます。
包括的な実験により、複雑な形状と現実的な外観を持つ 3D 人間を生成する HumanNorm の能力が実証されています。
HumanNorm は、ジオメトリとテクスチャの品質の両方において、既存のテキストから 3D への変換方法よりも優れています。
HumanNorm のプロジェクトページは https://humannorm.github.io/ です。

要約(オリジナル)

Recent text-to-3D methods employing diffusion models have made significant advancements in 3D human generation. However, these approaches face challenges due to the limitations of text-to-image diffusion models, which lack an understanding of 3D structures. Consequently, these methods struggle to achieve high-quality human generation, resulting in smooth geometry and cartoon-like appearances. In this paper, we propose HumanNorm, a novel approach for high-quality and realistic 3D human generation. The main idea is to enhance the model’s 2D perception of 3D geometry by learning a normal-adapted diffusion model and a normal-aligned diffusion model. The normal-adapted diffusion model can generate high-fidelity normal maps corresponding to user prompts with view-dependent and body-aware text. The normal-aligned diffusion model learns to generate color images aligned with the normal maps, thereby transforming physical geometry details into realistic appearance. Leveraging the proposed normal diffusion model, we devise a progressive geometry generation strategy and a multi-step Score Distillation Sampling (SDS) loss to enhance the performance of 3D human generation. Comprehensive experiments substantiate HumanNorm’s ability to generate 3D humans with intricate geometry and realistic appearances. HumanNorm outperforms existing text-to-3D methods in both geometry and texture quality. The project page of HumanNorm is https://humannorm.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google