CompGS++: Compressed Gaussian Splatting for Static and Dynamic Scene Representation

要約

Gaussian Splattingは、3Dシーンモデリングの習熟度を示していますが、固有の原始冗長性のためにかなりのデータ量に苦しんでいます。
将来のフォトリアリスティックな3D没入型視覚通信アプリケーションを可能にするために、既存のインターネットインフラストラクチャを介した送信には大きな圧縮が不可欠です。
したがって、コンパクトなガウスプリミティブを活用して、静的シーンとダイナミックシーンの両方で大幅なサイズ削減を伴う正確な3Dモデリングを実現する、圧縮ガウススプラッティング（compgs ++）を提案します。
私たちの設計は、プリミティブ間と内部の両方で冗長性を排除するという原則に基づいています。
具体的には、空間的および時間的原始予測モジュールを介して相互に微妙な冗長性に対処するための包括的な予測パラダイムを開発します。
空間プリミティブ予測モジュールは、シーンプリミティブの予測関係を確立し、ほとんどのプリミティブをコンパクトな残差としてエンコードできるようにし、空間的冗長性を大幅に減らします。
さらに、一時的なプリミティブ予測モジュールを考案して、動的なシーンを処理します。これにより、タイムスタンプ全体の原始的な相関が悪用され、時間的冗長性が効果的に減少します。
さらに、再構成エラーとレートの消費を共同で最小限に抑えるレート制約の最適化モジュールを考案します。
このモジュールは、プリミティブ内のパラメーター冗長性を効果的に排除し、シーン表現の全体的なコンパクトさを高めます。
複数のベンチマークデータセットにわたる包括的な評価は、comps ++が既存の方法を大幅に上回り、正確なシーンモデリングを維持しながら優れた圧縮性能を達成することを示しています。
私たちの実装は、さらなる研究を促進するためにGitHubで公開されます。

要約(オリジナル)

Gaussian splatting demonstrates proficiency for 3D scene modeling but suffers from substantial data volume due to inherent primitive redundancy. To enable future photorealistic 3D immersive visual communication applications, significant compression is essential for transmission over the existing Internet infrastructure. Hence, we propose Compressed Gaussian Splatting (CompGS++), a novel framework that leverages compact Gaussian primitives to achieve accurate 3D modeling with substantial size reduction for both static and dynamic scenes. Our design is based on the principle of eliminating redundancy both between and within primitives. Specifically, we develop a comprehensive prediction paradigm to address inter-primitive redundancy through spatial and temporal primitive prediction modules. The spatial primitive prediction module establishes predictive relationships for scene primitives and enables most primitives to be encoded as compact residuals, substantially reducing the spatial redundancy. We further devise a temporal primitive prediction module to handle dynamic scenes, which exploits primitive correlations across timestamps to effectively reduce temporal redundancy. Moreover, we devise a rate-constrained optimization module that jointly minimizes reconstruction error and rate consumption. This module effectively eliminates parameter redundancy within primitives and enhances the overall compactness of scene representations. Comprehensive evaluations across multiple benchmark datasets demonstrate that CompGS++ significantly outperforms existing methods, achieving superior compression performance while preserving accurate scene modeling. Our implementation will be made publicly available on GitHub to facilitate further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google