Text-to-3D Generation by 2D Editing

要約

ゲーム、フィルム、インテリアデザイン全体の3Dクリエイティブアプリケーションには、前処理された2D拡散モデルから3D表現を蒸留することが不可欠です。
現在のSDSベースの方法は、拡散モデルからの非効率的な情報蒸留によって妨げられており、これにより、フォトリアリスティックな3D含有量の作成が妨げられています。
この論文では、最初にSDSアプローチを再評価して、その基本的な性質を基本的な画像編集プロセスとして分析し、一般に過飽和、過剰な滑らか、豊富なコンテンツの欠如、および品質の低いシングルステップ除去による多様性をもたらします。
これに照らして、編集（GE3D）により3D Generationという新しい方法を提案します。
GE3Dの各反復は、テキスト誘導の除去軌跡とともに、入力画像の情報を保持するためにノイズの軌跡を組み合わせた2D編集フレームワークを使用します。
両方の軌跡に潜在性を調整することにより、プロセスを最適化します。
このアプローチは、事前に拡散した拡散モデルを完全に活用して、複数の除去ステップを通じて多粒度情報を蒸留するため、フォトリアリスティックな3D出力をもたらします。
理論的結果と実験結果の両方が、3D生成テクノロジーを進歩させるだけでなく、3D生成と2D編集の間の新しいつながりを確立するアプローチの有効性を確認します。
これは、この分野でのさらなる研究を促進する可能性があります。
コードとデモはhttps://jahnsonblack.github.io/ge3d/でリリースされます。

要約(オリジナル)

Distilling 3D representations from pretrained 2D diffusion models is essential for 3D creative applications across gaming, film, and interior design. Current SDS-based methods are hindered by inefficient information distillation from diffusion models, which prevents the creation of photorealistic 3D contents. In this paper, we first reevaluate the SDS approach by analyzing its fundamental nature as a basic image editing process that commonly results in over-saturation, over-smoothing, lack of rich content and diversity due to the poor-quality single-step denoising. In light of this, we then propose a novel method called 3D Generation by Editing (GE3D). Each iteration of GE3D utilizes a 2D editing framework that combines a noising trajectory to preserve the information of the input image, alongside a text-guided denoising trajectory. We optimize the process by aligning the latents across both trajectories. This approach fully exploits pretrained diffusion models to distill multi-granularity information through multiple denoising steps, resulting in photorealistic 3D outputs. Both theoretical and experimental results confirm the effectiveness of our approach, which not only advances 3D generation technology but also establishes a novel connection between 3D generation and 2D editing. This could potentially inspire further research in the field. Code and demos are released at https://jahnsonblack.github.io/GE3D/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google