Trimming the Fat: Efficient Compression of 3D Gaussian Splats through Pruning

要約

最近では、当初 Neural Radiance Fields によって提供され、最近では 3D Gaussian Splatting (3DGS) モデルによって提供されるエンドツーエンドのトレーニング能力のおかげで、3D モデルの利用が注目を集めています。
後者は、トレーニング中の迅速な収束を本質的に容易にし、広範な編集機能を提供することで、大きな利点を持っています。
ただし、急速な進歩にもかかわらず、これらのモデルのスケーラビリティに関する文献はまだ初期段階にあります。
この研究では、このギャップに対処するための最初の手順をいくつか講じ、そのようなモデルのメモリと計算のスケーラビリティの両方を可能にするアプローチを示します。
具体的には、モデル内にエンコードされた冗長な情報を削除するためのポストホック勾配情報に基づいた反復枝刈り手法である「脂肪のトリミング」を提案します。
広く認められたベンチマークに関する実験結果は、私たちのアプローチの有効性を証明しており、ベースラインのパフォーマンスを維持または改善しながら、最大 75% のガウス分布を除去できることを明らかにしています。
私たちのアプローチは、ベースライン モデルと同様のパフォーマンスを維持しながら約 50$\times$ の圧縮を達成し、計算を最大 600 FPS まで高速化できます。

要約(オリジナル)

In recent times, the utilization of 3D models has gained traction, owing to the capacity for end-to-end training initially offered by Neural Radiance Fields and more recently by 3D Gaussian Splatting (3DGS) models. The latter holds a significant advantage by inherently easing rapid convergence during training and offering extensive editability. However, despite rapid advancements, the literature still lives in its infancy regarding the scalability of these models. In this study, we take some initial steps in addressing this gap, showing an approach that enables both the memory and computational scalability of such models. Specifically, we propose ‘Trimming the fat’, a post-hoc gradient-informed iterative pruning technique to eliminate redundant information encoded in the model. Our experimental findings on widely acknowledged benchmarks attest to the effectiveness of our approach, revealing that up to 75% of the Gaussians can be removed while maintaining or even improving upon baseline performance. Our approach achieves around 50$\times$ compression while preserving performance similar to the baseline model, and is able to speed-up computation up to 600 FPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google