F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting

要約

Neural Radiance Field (NeRF) は、3D シーンの表現と新しいビューの合成において大きな進歩を遂げました。
NeRF は進歩しているにもかかわらず、計算コストが高いため、リソースに制約のある環境やリアルタイム アプリケーションでの導入には課題が生じています。
NeRF のようなニューラル レンダリング手法の代替として、3D ガウス スプラッティング (3DGS) は、優れた画質を維持しながら、高速なレンダリング速度を提供します。
ただし、無数のガウスを使用してオブジェクトやシーンを表現するため、高品質の表現を実現するには大量のストレージが必要です。
ストレージのオーバーヘッドを軽減するために、画質を維持しながらストレージ要件を大幅に削減する新しいアプローチである Factorized 3D Gaussian Splatting (F-3DGS) を提案します。
古典的な行列およびテンソル因数分解手法にインスピレーションを得た私たちの方法は、効率的な因数分解を通じて大幅に少ないガウスを使用してガウスの密なクラスターを表現および近似します。
各軸とその組み合わせの限られた量の情報で密な 3D ガウスを近似することで、密な 3D ガウスを効率的に表現することを目指しています。
この方法を使用すると、比較的少数の要素を使用してレンダリングするために必要な、色、スケール、回転などの重要な属性とともに、実質的に多数のガウスをエンコードできます。
広範な実験結果により、F-3DGS がレンダリング イメージの同等の品質を維持しながら、ストレージ コストの大幅な削減を達成できることが実証されています。

要約(オリジナル)

The neural radiance field (NeRF) has made significant strides in representing 3D scenes and synthesizing novel views. Despite its advancements, the high computational costs of NeRF have posed challenges for its deployment in resource-constrained environments and real-time applications. As an alternative to NeRF-like neural rendering methods, 3D Gaussian Splatting (3DGS) offers rapid rendering speeds while maintaining excellent image quality. However, as it represents objects and scenes using a myriad of Gaussians, it requires substantial storage to achieve high-quality representation. To mitigate the storage overhead, we propose Factorized 3D Gaussian Splatting (F-3DGS), a novel approach that drastically reduces storage requirements while preserving image quality. Inspired by classical matrix and tensor factorization techniques, our method represents and approximates dense clusters of Gaussians with significantly fewer Gaussians through efficient factorization. We aim to efficiently represent dense 3D Gaussians by approximating them with a limited amount of information for each axis and their combinations. This method allows us to encode a substantially large number of Gaussians along with their essential attributes — such as color, scale, and rotation — necessary for rendering using a relatively small number of elements. Extensive experimental results demonstrate that F-3DGS achieves a significant reduction in storage costs while maintaining comparable quality in rendered images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google