GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

要約

3D ガウス スプラッティング (GS) は、3D フィッティングの忠実度とレンダリング速度の点で、ニューラル ラディアンス フィールドに比べて大幅な改善を達成しました。
ただし、ガウス分布が散在するこの非構造化表現は、生成モデリングにとって大きな課題となります。
この問題に対処するために、生成モデリングにとって強力かつ効率的な構造化 GS 表現である GaussianCube を導入します。
これは、まず、固定数の自由ガウスを使用して高品質のフィッティング結果を生成できる、修正された高密度化制約付き GS フィッティング アルゴリズムを提案し、次に、最適トランスポートを介してガウスを事前定義されたボクセル グリッドに再配置することでこれを実現します。
構造化されたグリッド表現により、複雑な設計を行わずに、拡散生成モデリングのバックボーンとして標準 3D U-Net を使用できるようになります。
ShapeNet と OmniObject3D で行われた広範な実験により、私たちのモデルが定性的にも定量的にも最先端の生成結果を達成していることが示され、強力で多用途の 3D 表現としての GaussianCube の可能性が強調されています。

要約(オリジナル)

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google