HEMGS: A Hybrid Entropy Model for 3D Gaussian Splatting Data Compression

要約

この作業では、3Dガウススプラッティング（3DG）データの新しい圧縮フレームワークを提案します。
アンカーベースの3DGS方法論に基づいて、私たちのアプローチは、ハイブリッドの損失のない圧縮を実現するために、3Dガウススプラッティング（HEMG）の新しいハイブリッドエントロピーモデルを導入することにより、各アンカー内のすべての属性を圧縮します。
これは、3つの主要なコンポーネントで構成されています。可変レート予測子、高度なネットワーク、および自己回帰ネットワークです。
第一に、複数のモデルを採用してマルチレートの損失のある圧縮を達成する以前の方法とは異なり、トレーニングオーバーヘッドを増加させると、可変レート予測子は、単一のモデルとハイパーパラメーター$ \ lambda $を使用して可変レート圧縮を可能にします。
第二に、ロスレス圧縮を改善するために、ハイパープライアネットワークはシーンに依存しない機能とシーン固有の機能の両方をキャプチャして以前の機能を生成しますが、自動回復ネットワークは、柔軟な受容フィールドを備えた適応コンテキスト選択アルゴリズムを採用してコンテキスト機能を生成します。
これら2つの機能を統合することにより、HEMGは各属性内の現在のコーディング要素の分布を正確に推定し、エントロピーコーディングの改善とストレージの削減を可能にします。
HEMGを圧縮フレームワークに統合し、4つのベンチマークでの実験結果は、HEMGがベースライン方法よりもレンダリング品質を維持し、最先端の圧縮結果を達成しながら、サイズが約40％の平均減少を達成することを示しています。

要約(オリジナル)

In this work, we propose a novel compression framework for 3D Gaussian Splatting (3DGS) data. Building on anchor-based 3DGS methodologies, our approach compresses all attributes within each anchor by introducing a novel Hybrid Entropy Model for 3D Gaussian Splatting (HEMGS) to achieve hybrid lossy-lossless compression. It consists of three main components: a variable-rate predictor, a hyperprior network, and an autoregressive network. First, unlike previous methods that adopt multiple models to achieve multi-rate lossy compression, thereby increasing training overhead, our variable-rate predictor enables variable-rate compression with a single model and a hyperparameter $\lambda$ by producing a learned Quantization Step feature for versatile lossy compression. Second, to improve lossless compression, the hyperprior network captures both scene-agnostic and scene-specific features to generate a prior feature, while the autoregressive network employs an adaptive context selection algorithm with flexible receptive fields to produce a contextual feature. By integrating these two features, HEMGS can accurately estimate the distribution of the current coding element within each attribute, enabling improved entropy coding and reduced storage. We integrate HEMGS into a compression framework, and experimental results on four benchmarks indicate that HEMGS achieves about a 40% average reduction in size while maintaining rendering quality over baseline methods and achieving state-of-the-art compression results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google