DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

要約

私たちは、高忠実度で一貫性のある 3D オブジェクトを生成する階層型 3D コンテンツ生成方法である DreamCraft3D を紹介します。
私たちは、2D 参照イメージを活用してジオメトリのスカルプティングとテクスチャ ブースティングの段階をガイドすることで、この問題に取り組みます。
この作業の中心的な焦点は、既存の作品が遭遇する一貫性の問題に対処することです。
一貫してレンダリングするジオメトリを彫刻するために、ビュー依存の拡散モデルを介してスコア蒸留サンプリングを実行します。
この 3D 事前設定は、いくつかのトレーニング戦略と並行して、ジオメトリの一貫性を優先しますが、テクスチャの忠実性が損なわれます。
さらに、特にテクスチャーを向上させるために、ブートストラップ スコア蒸留を提案します。
私たちは、シーンの拡張レンダリングでパーソナライズされた拡散モデル Dreambooth をトレーニングし、最適化されているシーンの 3D 知識をモデルに吹き込みます。
この 3D 認識の拡散プリアから抽出されたスコアは、シーンのビューに一貫したガイダンスを提供します。
特に、拡散事前表現と 3D シーン表現を交互に最適化することで、相互に強化する改善を達成しています。最適化された 3D シーンは、シーン固有の拡散モデルのトレーニングに役立ち、3D 最適化のためのビュー一貫性の高いガイダンスを提供します。
したがって、最適化はブートストラップされ、実質的なテクスチャの向上につながります。
DreamCraft3D は、階層生成全体にわたって調整された 3D 事前処理を使用して、フォトリアリスティックなレンダリングを備えた一貫した 3D オブジェクトを生成し、最先端の 3D コンテンツ生成を前進させます。
コードは https://github.com/deepseek-ai/DreamCraft3D で入手できます。

要約(オリジナル)

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google