LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

要約

最近のテキストから 3D への生成アプローチでは、印象的な 3D 結果が生成されますが、時間のかかる最適化が必要であり、プロンプトごとに最大 1 時間かかる場合があります。
ATT3D のような償却手法は、効率を向上させるために複数のプロンプトを同時に最適化し、テキストから 3D への高速合成を可能にします。
ただし、高周波のジオメトリやテクスチャの詳細をキャプチャできず、大規模なプロンプト セットにスケールするのが難しいため、一般化が不十分です。
私たちは LATTE3D を導入し、これらの制限に対処して、大幅に大規模なプロンプト セットで高速かつ高品質の生成を実現します。
私たちの手法の鍵となるのは、1) スケーラブルなアーキテクチャを構築すること、2) 3D 対応の拡散事前分布、形状の正則化、モデルの初期化による最適化中に 3D データを活用して、多様で複雑なトレーニング プロンプトに対する堅牢性を実現することです。
LATTE3D は、ニューラル フィールドとテクスチャ サーフェスの生成の両方を償却して、単一の前方パスで非常に詳細なテクスチャ メッシュを生成します。
LATTE3D は 3D オブジェクトを 400 ミリ秒で生成し、高速なテスト時間の最適化によってさらに強化できます。

要約(オリジナル)

Recent text-to-3D generation approaches produce impressive 3D results but require time-consuming optimization that can take up to an hour per prompt. Amortized methods like ATT3D optimize multiple prompts simultaneously to improve efficiency, enabling fast text-to-3D synthesis. However, they cannot capture high-frequency geometry and texture details and struggle to scale to large prompt sets, so they generalize poorly. We introduce LATTE3D, addressing these limitations to achieve fast, high-quality generation on a significantly larger prompt set. Key to our method is 1) building a scalable architecture and 2) leveraging 3D data during optimization through 3D-aware diffusion priors, shape regularization, and model initialization to achieve robustness to diverse and complex training prompts. LATTE3D amortizes both neural field and textured surface generation to produce highly detailed textured meshes in a single forward pass. LATTE3D generates 3D objects in 400ms, and can be further enhanced with fast test-time optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google