DiffGS: Functional Gaussian Splatting Diffusion

要約

3D ガウス スプラッティング (3DGS) は、レンダリング速度と忠実度において納得のいくパフォーマンスを示していますが、その離散性と非構造化の性質により、ガウス スプラッティングの生成は依然として課題となっています。
この研究では、潜在拡散モデルに基づく一般的なガウス生成器である DiffGS を提案します。
DiffGS は強力かつ効率的な 3D 生成モデルであり、ラスター化による高忠実度のレンダリングのために任意の数でガウス プリミティブを生成できます。
重要な洞察は、ガウス確率、色、変換をモデル化する 3 つの新しい関数を介して、ガウス スプラッティングを解きほぐす方法で表現することです。
3DGS の新しい解きほぐしにより、離散的で非構造化 3DGS を連続ガウス スプラッティング関数で表現します。次に、これらのガウス スプラッティング関数を無条件および条件付きで生成することを目的として潜在拡散モデルをトレーニングします。
一方、オクツリーガイドに基づくサンプリングと最適化を通じて、生成された関数から任意の数でガウス分布を抽出する離散化アルゴリズムを導入します。
無条件生成、テキスト、画像、部分 3DGS からの条件付き生成、Point-to-Gaussian 生成など、さまざまなタスクで DiffGS を検討します。
私たちは、DiffGS がガウス スプラッティングを柔軟にモデリングおよび生成するための新しい方向性を提供すると信じています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has shown convincing performance in rendering speed and fidelity, yet the generation of Gaussian Splatting remains a challenge due to its discreteness and unstructured nature. In this work, we propose DiffGS, a general Gaussian generator based on latent diffusion models. DiffGS is a powerful and efficient 3D generative model which is capable of generating Gaussian primitives at arbitrary numbers for high-fidelity rendering with rasterization. The key insight is to represent Gaussian Splatting in a disentangled manner via three novel functions to model Gaussian probabilities, colors and transforms. Through the novel disentanglement of 3DGS, we represent the discrete and unstructured 3DGS with continuous Gaussian Splatting functions, where we then train a latent diffusion model with the target of generating these Gaussian Splatting functions both unconditionally and conditionally. Meanwhile, we introduce a discretization algorithm to extract Gaussians at arbitrary numbers from the generated functions via octree-guided sampling and optimization. We explore DiffGS for various tasks, including unconditional generation, conditional generation from text, image, and partial 3DGS, as well as Point-to-Gaussian generation. We believe that DiffGS provides a new direction for flexibly modeling and generating Gaussian Splatting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google