DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

要約

3D コンテンツ作成における最近の進歩は、主にスコア蒸留サンプリング (SDS) による最適化ベースの 3D 生成を活用しています。
有望な結果が示されていますが、これらの方法はサンプルごとの最適化が遅いことが多く、実際の使用が制限されます。
本稿では、効率と品質を同時に実現する新しい3Dコンテンツ生成フレームワークであるDreamGaussianを提案します。
私たちの重要な洞察は、UV 空間でのメッシュ抽出とテクスチャ リファインメントを伴う生成 3D ガウス スプラッティング モデルを設計することです。
Neural Radiance Fields で使用される占有枝刈りとは対照的に、3D 生成タスクでは 3D ガウスの漸進的高密度化が大幅に高速に収束することを示します。
テクスチャの品質をさらに向上させ、下流のアプリケーションを容易にするために、3D ガウスをテクスチャ メッシュに変換し、詳細を調整する微調整ステージを適用する効率的なアルゴリズムを導入します。
広範な実験により、私たちが提案したアプローチの優れた効率と競争力のある発電品質が実証されました。
特に、DreamGaussian は、単一ビューの画像からわずか 2 分で高品質のテクスチャ メッシュを生成し、既存の方法と比較して約 10 倍の高速化を達成します。

要約(オリジナル)

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google