HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression

要約

3D ガウス スプラッティング (3DGS) は、高い忠実度で高速なレンダリング速度を誇る、新しいビュー合成の有望なフレームワークとして浮上しています。
ただし、実質的なガウス分布とそれに関連する属性には、効果的な圧縮技術が必要です。
それにもかかわらず、ガウス分布の点群 (論文ではアンカー) がまばらで組織化されていない性質があるため、圧縮には課題が生じます。
これに対処するために、私たちは、組織化されていないアンカーと構造化されたハッシュ グリッドの間の関係を利用し、それらの相互情報をコンテキスト モデリングに活用し、非常にコンパクトな 3DGS 表現のためのハッシュ グリッド支援コンテキスト (HAC) フレームワークを提案します。
私たちのアプローチでは、バイナリ ハッシュ グリッドを導入して連続的な空間一貫性を確立し、慎重に設計されたコンテキスト モデルを通じてアンカーの固有の空間関係を明らかにすることができます。
エントロピーコーディングを容易にするために、ガウス分布を利用して量子化された各属性の確率を正確に推定します。ここで、適応量子化モジュールが提案され、これらの属性の高精度量子化を可能にして忠実度の復元を向上させます。
さらに、無効なガウスとアンカーを排除するための適応マスキング戦略を組み込みます。
重要なのは、私たちの研究は 3DGS 表現のコンテキストベースの圧縮を探求する先駆者であり、その結果、バニラ 3DGS と比較して $75\times$ を超える大幅なサイズ削減を実現し、同時に忠実度を向上させ、SOTA と比較して $11\times$ 以上のサイズ削減を達成しました。
3DGS 圧縮アプローチ Scaffold-GS。
私たちのコードはここから入手できます: https://github.com/YihangChen-ee/HAC

要約(オリジナル)

3D Gaussian Splatting (3DGS) has emerged as a promising framework for novel view synthesis, boasting rapid rendering speed with high fidelity. However, the substantial Gaussians and their associated attributes necessitate effective compression techniques. Nevertheless, the sparse and unorganized nature of the point cloud of Gaussians (or anchors in our paper) presents challenges for compression. To address this, we make use of the relations between the unorganized anchors and the structured hash grid, leveraging their mutual information for context modeling, and propose a Hash-grid Assisted Context (HAC) framework for highly compact 3DGS representation. Our approach introduces a binary hash grid to establish continuous spatial consistencies, allowing us to unveil the inherent spatial relations of anchors through a carefully designed context model. To facilitate entropy coding, we utilize Gaussian distributions to accurately estimate the probability of each quantized attribute, where an adaptive quantization module is proposed to enable high-precision quantization of these attributes for improved fidelity restoration. Additionally, we incorporate an adaptive masking strategy to eliminate invalid Gaussians and anchors. Importantly, our work is the pioneer to explore context-based compression for 3DGS representation, resulting in a remarkable size reduction of over $75\times$ compared to vanilla 3DGS, while simultaneously improving fidelity, and achieving over $11\times$ size reduction over SOTA 3DGS compression approach Scaffold-GS. Our code is available here: https://github.com/YihangChen-ee/HAC

arxiv情報

提供元, 利用サービス

arxiv.jp, Google