Compact 3D Scene Representation via Self-Organizing Gaussian Grids

要約

3D ガウス スプラッティングは、静的な 3D シーンのモデリングに非常に有望な技術として最近登場しました。
Neural Radiance Fields とは対照的に、効率的なラスタライゼーションを利用して、高品質での非常に高速なレンダリングを可能にします。
ただし、ストレージ サイズが大幅に大きくなるため、実際の展開が妨げられます。
リソースに制約のあるデバイス上で。
このペーパーでは、3D ガウス スプラッティング (3DGS) のパラメーターを局所的に均一な 2D グリッドに編成するコンパクトなシーン表現を紹介します。これにより、レンダリング中に視覚的な品質を損なうことなく、ストレージ要件の大幅な削減が保証されます。
私たちのアイデアの中心となるのは、自然の風景に存在する知覚の冗長性を明確に利用することです。
本質的に、シーンの固有の性質により、シーンを同等に表現するためにガウス パラメーターの多数の置換が可能になります。
この目的を達成するために、近傍構造を維持しながら高次元ガウス パラメータを 2D グリッドに規則的に配置する、新しい高度な並列アルゴリズムを提案します。
トレーニング中に、グリッド内の並べ替えられたパラメーター間の局所的な滑らかさをさらに強化します。
非圧縮ガウスは 3DGS と同じ構造を使用し、確立されたレンダラーとのシームレスな統合を保証します。
私たちの方法では、トレーニング時間を増加させることなく、複雑なシーンのサイズを 17 倍から 42 倍に縮小することができ、3D シーンの配布と消費の領域で大幅な進歩を遂げています。
追加情報はプロジェクト ページでご覧いただけます: https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/

要約(オリジナル)

3D Gaussian Splatting has recently emerged as a highly promising technique for modeling of static 3D scenes. In contrast to Neural Radiance Fields, it utilizes efficient rasterization allowing for very fast rendering at high-quality. However, the storage size is significantly higher, which hinders practical deployment, e.g. on resource constrained devices. In this paper, we introduce a compact scene representation organizing the parameters of 3D Gaussian Splatting (3DGS) into a 2D grid with local homogeneity, ensuring a drastic reduction in storage requirements without compromising visual quality during rendering. Central to our idea is the explicit exploitation of perceptual redundancies present in natural scenes. In essence, the inherent nature of a scene allows for numerous permutations of Gaussian parameters to equivalently represent it. To this end, we propose a novel highly parallel algorithm that regularly arranges the high-dimensional Gaussian parameters into a 2D grid while preserving their neighborhood structure. During training, we further enforce local smoothness between the sorted parameters in the grid. The uncompressed Gaussians use the same structure as 3DGS, ensuring a seamless integration with established renderers. Our method achieves a reduction factor of 17x to 42x in size for complex scenes with no increase in training time, marking a substantial leap forward in the domain of 3D scene distribution and consumption. Additional information can be found on our project page: https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google