UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping

要約

3D Gaussian Splatting（3DGS）は、3Dオブジェクトとシーンのモデリングにおいて優れた品質を実証しています。
ただし、3DGを生成することは、離散、非構造、および順列不変の性質のために依然として困難です。
この作業では、これらの課題を克服するためのシンプルで効果的な方法を提示します。
球状マッピングを利用して、3DGをUVGと呼ばれる構造化された2D表現に変換します。
UVGは、位置、スケール、色、不透明度、回転などのガウス属性の連結として機能寸法を備えたマルチチャネル画像と見なすことができます。
さらに、これらの不均一な機能は、慎重に設計されたマルチブランチネットワークを使用して、低次元（3チャネル）共有機能空間に圧縮できることがわかります。
圧縮されたUVGは、典型的なRGB画像として扱うことができます。
驚くべきことに、潜在的な拡散モデルで訓練された典型的なVAEが、追加のトレーニングなしでこの新しい表現に直接一般化できることがわかります。
私たちの新しい表現により、拡散モデルなどの基本的な2Dモデルを活用して、3DGを直接モデル化することができません。
さらに、2D UV解像度を増やして、より多くのガウス分野に対応し、典型的な3Dバックボーンと比較してUVGをスケーラブルなソリューションにすることができます。
このアプローチは、すでに開発された優れた2D生成機能を本質的に利用することにより、3DGのさまざまな新しい生成アプリケーションのロックをすぐに解除します。
私たちの実験では、以前は自明であった拡散モデルに基づいて、さまざまな無条件の条件付き生成、3DGの適用アプリケーションを示しています。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has demonstrated superior quality in modeling 3D objects and scenes. However, generating 3DGS remains challenging due to their discrete, unstructured, and permutation-invariant nature. In this work, we present a simple yet effective method to overcome these challenges. We utilize spherical mapping to transform 3DGS into a structured 2D representation, termed UVGS. UVGS can be viewed as multi-channel images, with feature dimensions as a concatenation of Gaussian attributes such as position, scale, color, opacity, and rotation. We further find that these heterogeneous features can be compressed into a lower-dimensional (e.g., 3-channel) shared feature space using a carefully designed multi-branch network. The compressed UVGS can be treated as typical RGB images. Remarkably, we discover that typical VAEs trained with latent diffusion models can directly generalize to this new representation without additional training. Our novel representation makes it effortless to leverage foundational 2D models, such as diffusion models, to directly model 3DGS. Additionally, one can simply increase the 2D UV resolution to accommodate more Gaussians, making UVGS a scalable solution compared to typical 3D backbones. This approach immediately unlocks various novel generation applications of 3DGS by inherently utilizing the already developed superior 2D generation capabilities. In our experiments, we demonstrate various unconditional, conditional generation, and inpainting applications of 3DGS based on diffusion models, which were previously non-trivial.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google