DreamControl: Control-Based Text-to-3D Generation with 3D Self-Prior

要約

近年、3D 生成が大きな注目を集めています。
テキストから画像への拡散モデルの成功により、2D リフティング技術は制御可能な 3D 生成への有望な手段となりました。
ただし、これらの方法では、ヤヌス問題としても知られる一貫性のないジオメトリが発生する傾向があります。
この問題は主に 2 つの側面、つまり 2D 拡散モデルの視点バイアスと最適化目標の過剰適合によって引き起こされることが観察されています。
これに対処するために、我々は 2 段階の 2D リフティング フレームワーク、つまり DreamControl を提案します。これは、粗い NeRF シーンを 3D 自己優先として最適化し、その後、制御ベースのスコア蒸留によってきめの細かいオブジェクトを生成します。
具体的には、生成された事前分布の一貫性を保証するために、適応視点サンプリングと境界完全性メトリックが提案されています。
次に、事前分布は合理的なジオメトリを維持するための入力条件とみなされ、詳細なテクスチャを最適化するために条件付き LoRA と重み付きスコアがさらに提案されます。
DreamControl は、ジオメトリの一貫性とテクスチャの忠実性の両方の点で高品質の 3D コンテンツを生成できます。
さらに、当社の制御ベースの最適化ガイダンスは、ユーザーガイドによる生成や 3D アニメーションなど、より下流のタスクにも適用できます。
プロジェクト ページは https://github.com/tyhuang0428/DreamControl から入手できます。

要約(オリジナル)

3D generation has raised great attention in recent years. With the success of text-to-image diffusion models, the 2D-lifting technique becomes a promising route to controllable 3D generation. However, these methods tend to present inconsistent geometry, which is also known as the Janus problem. We observe that the problem is caused mainly by two aspects, i.e., viewpoint bias in 2D diffusion models and overfitting of the optimization objective. To address it, we propose a two-stage 2D-lifting framework, namely DreamControl, which optimizes coarse NeRF scenes as 3D self-prior and then generates fine-grained objects with control-based score distillation. Specifically, adaptive viewpoint sampling and boundary integrity metric are proposed to ensure the consistency of generated priors. The priors are then regarded as input conditions to maintain reasonable geometries, in which conditional LoRA and weighted score are further proposed to optimize detailed textures. DreamControl can generate high-quality 3D content in terms of both geometry consistency and texture fidelity. Moreover, our control-based optimization guidance is applicable to more downstream tasks, including user-guided generation and 3D animation. The project page is available at https://github.com/tyhuang0428/DreamControl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google