LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS

要約

ポイントベースの技術を使用したリアルタイム ニューラル レンダリングの最近の進歩により、3D 表現の幅広い採用が可能になりました。
ただし、3D ガウス スプラッティングのような基本的なアプローチでは、Structure-from-Motion (SfM) ポイントが数百万に増加する可能性があり、多くの場合、単一の無制限のシーンにギガバイト レベルのディスク容量が必要になるため、かなりのストレージ オーバーヘッドが発生します。
この成長により、スケーラビリティに課題が生じ、スプラッティングの効率が妨げられます。
これに対処するために、3D ガウスをよりコンパクトな形式に変換する方法である LightGaussian を導入します。
ネットワーク プルーニングからインスピレーションを得た LightGaussian は、シーンの再構築においてグローバルな重要性が最小限のガウスを特定し、視覚的な品質を維持しながら冗長性を削減するためにプルーニングと回復プロセスを適用します。
次に、知識の蒸留と擬似ビューの拡張により、球面調和係数がより低い次数に転送され、コンパクトな表現が得られます。
ガウス ベクトル量子化は、各ガウスのグローバルな重要性に基づいて、精度の損失を最小限に抑えながらビット幅をさらに削減します。
LightGaussian は、3D-GS フレームワーク内で FPS を 144 から 237 に向上させながら平均 15 倍の圧縮率を達成し、Mip-NeRF 360 および Tank & Temple データセットで効率的な複雑なシーン表現を可能にします。
提案されたガウス枝刈りアプローチは、他の 3D 表現 (例: Scaffold-GS) にも適応可能であり、強力な一般化機能を示しています。

要約(オリジナル)

Recent advances in real-time neural rendering using point-based techniques have enabled broader adoption of 3D representations. However, foundational approaches like 3D Gaussian Splatting impose substantial storage overhead, as Structure-from-Motion (SfM) points can grow to millions, often requiring gigabyte-level disk space for a single unbounded scene. This growth presents scalability challenges and hinders splatting efficiency. To address this, we introduce LightGaussian, a method for transforming 3D Gaussians into a more compact format. Inspired by Network Pruning, LightGaussian identifies Gaussians with minimal global significance on scene reconstruction, and applies a pruning and recovery process to reduce redundancy while preserving visual quality. Knowledge distillation and pseudo-view augmentation then transfer spherical harmonic coefficients to a lower degree, yielding compact representations. Gaussian Vector Quantization, based on each Gaussian’s global significance, further lowers bitwidth with minimal accuracy loss. LightGaussian achieves an average 15x compression rate while boosting FPS from 144 to 237 within the 3D-GS framework, enabling efficient complex scene representation on the Mip-NeRF 360 and Tank & Temple datasets. The proposed Gaussian pruning approach is also adaptable to other 3D representations (e.g., Scaffold-GS), demonstrating strong generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google