GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models

要約

最近では、テキスト プロンプトからの 3D アセットの生成が目覚ましい結果を示しています。
2D と 3D の両方の拡散モデルは、プロンプトに基づいて適切な 3D オブジェクトを生成するのに役立ちます。
3D 拡散モデルは 3D の一貫性が優れていますが、トレーニング可能な 3D データは高価で入手が難しいため、その品質と一般化には限界があります。
2D 拡散モデルは一般化と微細生成の強力な能力を備えていますが、3D の一貫性を保証するのは困難です。
この論文では、最近の明示的かつ効率的な 3D ガウス スプラッティング表現を介して 2 種類の拡散モデルの力を橋渡しすることを試みています。
GaussianDreamer という名前の高速 3D オブジェクト生成フレームワークが提案されています。このフレームワークでは、3D 拡散モデルが初期化のための事前分布を提供し、2D 拡散モデルがジオメトリと外観を強化します。
初期化されたガウス分布を強化するために、ノイズの多い点の成長と色の摂動の操作が導入されています。
当社の GaussianDreamer は、1 つの GPU で 15 分以内に高品質の 3D インスタンスまたは 3D アバターを生成でき、これまでの方法よりもはるかに高速であり、生成されたインスタンスはリアルタイムで直接レンダリングできます。
デモとコードは https://taoronyi.com/gaussiandreamer/ で入手できます。

要約(オリジナル)

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can help generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D object generation framework, named as GaussianDreamer, is proposed, where the 3D diffusion model provides priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our GaussianDreamer can generate a high-quality 3D instance or 3D avatar within 15 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google