DreamMapping: High-Fidelity Text-to-3D Generation via Variational Distribution Mapping

要約

スコア蒸留サンプリング (SDS) は、テキストから 3D への生成のための一般的な技術として登場し、テキストから 2D へのガイダンスからビュー依存の情報を抽出することによって 3D コンテンツの作成を可能にします。
ただし、彩度が​​高すぎたり、滑らかさが過剰になったりするなどの欠点が頻繁にあります。
このペーパーでは、SDS の徹底的な分析を実施し、その定式化を改良し、中核となる設計はレンダリングされたイメージの分布をモデル化することであることがわかりました。
この洞察に従って、変分分布マッピング (VDM) と呼ばれる新しい戦略を導入します。これは、レンダリングされたイメージを拡散ベースの生成による劣化のインスタンスとみなすことで、分布モデリング プロセスを促進します。
この特別な設計により、拡散 U-Net のヤコビアンの計算をスキップすることにより、変分分布の効率的なトレーニングが可能になります。
また、蒸留精度をさらに向上させるために、タイムステップ依存の分布係数アニーリング (DCA) も導入します。
VDM と DCA を活用し、3D 表現としてガウス スプラッティングを使用し、テキストから 3D への生成フレームワークを構築します。
広範な実験と評価により、最適化効率を備えた高忠実度で現実的なアセットを生成する VDM と DCA の機能が実証されています。

要約(オリジナル)

Score Distillation Sampling (SDS) has emerged as a prevalent technique for text-to-3D generation, enabling 3D content creation by distilling view-dependent information from text-to-2D guidance. However, they frequently exhibit shortcomings such as over-saturated color and excess smoothness. In this paper, we conduct a thorough analysis of SDS and refine its formulation, finding that the core design is to model the distribution of rendered images. Following this insight, we introduce a novel strategy called Variational Distribution Mapping (VDM), which expedites the distribution modeling process by regarding the rendered images as instances of degradation from diffusion-based generation. This special design enables the efficient training of variational distribution by skipping the calculations of the Jacobians in the diffusion U-Net. We also introduce timestep-dependent Distribution Coefficient Annealing (DCA) to further improve distilling precision. Leveraging VDM and DCA, we use Gaussian Splatting as the 3D representation and build a text-to-3D generation framework. Extensive experiments and evaluations demonstrate the capability of VDM and DCA to generate high-fidelity and realistic assets with optimization efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google