RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D

要約

3D 生成のために 2D 拡散を持ち上げるのは、幾何学的な事前定義が欠如しており、自然画像ではマテリアルと照明が複雑に絡み合っているため、困難な問題です。
既存の方法では、最初にレンダリングされたサーフェス法線に適用されるスコア蒸留サンプリング (SDS) によってジオメトリを作成し、その後に外観モデリングを行うことで有望性が示されています。
ただし、2D RGB 拡散モデルに依存して表面法線を最適化することは、自然画像と法線マップ間の分布の不一致により最適とは言えず、最適化が不安定になります。
この論文では、法線情報と深度情報がシーンのジオメトリを効果的に記述し、画像から自動的に推定されることを認識して、3D 生成のための一般化可能な法線深度拡散モデルを学習することを提案します。
これは、大規模な LAION データセットと、一般化可能な画像深度モデルおよび通常の事前モデルを組み合わせてトレーニングすることによって実現されます。
生成されたマテリアルの混合照明効果を軽減するために、アルベド拡散モデルを導入して、アルベド コンポーネントにデータ駆動型の制約を課します。
私たちの実験では、既存のテキストから 3D へのパイプラインに統合すると、モデルの詳細が大幅に強化され、最先端の結果が得られることがわかりました。
私たちのプロジェクトページは https://lingtengqiu.github.io/RichDreamer/ です。

要約(オリジナル)

Lifting 2D diffusion for 3D generation is a challenging problem due to the lack of geometric prior and the complex entanglement of materials and lighting in natural images. Existing methods have shown promise by first creating the geometry through score-distillation sampling (SDS) applied to rendered surface normals, followed by appearance modeling. However, relying on a 2D RGB diffusion model to optimize surface normals is suboptimal due to the distribution discrepancy between natural images and normals maps, leading to instability in optimization. In this paper, recognizing that the normal and depth information effectively describe scene geometry and be automatically estimated from images, we propose to learn a generalizable Normal-Depth diffusion model for 3D generation. We achieve this by training on the large-scale LAION dataset together with the generalizable image-to-depth and normal prior models. In an attempt to alleviate the mixed illumination effects in the generated materials, we introduce an albedo diffusion model to impose data-driven constraints on the albedo component. Our experiments show that when integrated into existing text-to-3D pipelines, our models significantly enhance the detail richness, achieving state-of-the-art results. Our project page is https://lingtengqiu.github.io/RichDreamer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google