LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS

要約

ポイントベースの技術を使用したリアルタイム ニューラル レンダリングの最近の進歩により、3D 表現が広く採用される道が開かれました。
ただし、3D ガウス スプラッティングのような基本的なアプローチには、SfM ポイントが数百万に増加することによって生じるかなりのストレージ オーバーヘッドが伴い、多くの場合、単一の無制限のシーンにギガバイト レベルのディスク領域が必要となり、スケーラビリティに重大な課題が生じ、スプラッティングの効率が妨げられます。
この課題に対処するために、3D ガウスをより効率的でコンパクトな形式に変換するように設計された新しい方法である LightGaussian を導入します。
ネットワーク プルーニングの概念からインスピレーションを得た LightGaussian は、シーンの再構築にあまり寄与しないガウスを特定し、プルーニングと回復プロセスを採用して、視覚効果を維持しながらガウス カウントの冗長性を効果的に削減します。
さらに、LightGaussian は蒸留と擬似ビュー拡張を採用して、球面調和関数をより低い程度に蒸留し、反射率を維持しながら知識をよりコンパクトな表現に転送できるようにします。
さらに、すべての属性を量子化するハイブリッド方式である VecTree Quantization を提案します。これにより、精度損失を最小限に抑えながらビット幅表現を低く抑えることができます。
要約すると、LightGaussian は 15 倍を超える平均圧縮率を達成しながら、FPS を 139 から 215 に向上させ、Mip-NeRF 360、Tank、Temple データセット上の複雑なシーンを効率的に表現できるようになります。
プロジェクト Web サイト: https://lightgaussian.github.io/

要約(オリジナル)

Recent advancements in real-time neural rendering using point-based techniques have paved the way for the widespread adoption of 3D representations. However, foundational approaches like 3D Gaussian Splatting come with a substantial storage overhead caused by growing the SfM points to millions, often demanding gigabyte-level disk space for a single unbounded scene, posing significant scalability challenges and hindering the splatting efficiency. To address this challenge, we introduce LightGaussian, a novel method designed to transform 3D Gaussians into a more efficient and compact format. Drawing inspiration from the concept of Network Pruning, LightGaussian identifies Gaussians that are insignificant in contributing to the scene reconstruction and adopts a pruning and recovery process, effectively reducing redundancy in Gaussian counts while preserving visual effects. Additionally, LightGaussian employs distillation and pseudo-view augmentation to distill spherical harmonics to a lower degree, allowing knowledge transfer to more compact representations while maintaining reflectance. Furthermore, we propose a hybrid scheme, VecTree Quantization, to quantize all attributes, resulting in lower bitwidth representations with minimal accuracy losses. In summary, LightGaussian achieves an averaged compression rate over 15x while boosting the FPS from 139 to 215, enabling an efficient representation of complex scenes on Mip-NeRF 360, Tank and Temple datasets. Project website: https://lightgaussian.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google