HAC++: Towards 100X Compression of 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) は、高い忠実度で高速なレンダリング速度を誇る、新しいビュー合成の有望なフレームワークとして浮上しています。
ただし、実質的なガウス分布とそれに関連する属性には、効果的な圧縮技術が必要です。
それにもかかわらず、ガウス分布の点群 (論文ではアンカー) がまばらで組織化されていない性質があるため、圧縮には課題が生じます。
コンパクトなサイズを達成するために、私たちは HAC++ を提案します。これは、組織化されていないアンカーと構造化されたハッシュ グリッドの間の関係を活用し、コンテキスト モデリングにそれらの相互情報を利用します。
さらに、HAC++ はアンカー内のコンテキスト関係をキャプチャして、圧縮パフォーマンスをさらに強化します。
エントロピーコーディングを容易にするために、ガウス分布を利用して各量子化属性の確率を正確に推定します。ここで、適応量子化モジュールが提案され、忠実度の復元を向上させるためにこれらの属性の高精度量子化を可能にします。
さらに、無効なガウスとアンカーを排除するための適応マスキング戦略を組み込んでいます。
全体として、HAC++ は、すべてのデータセットで平均した場合、標準の 3DGS と比較して 100 倍を超える大幅なサイズ削減を達成し、同時に忠実度を向上させます。
また、Scaffold-GS と比較して 20 倍以上のサイズ縮小も実現します。
私たちのコードは https://github.com/YihangChen-ee/HAC-plus で入手できます。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has emerged as a promising framework for novel view synthesis, boasting rapid rendering speed with high fidelity. However, the substantial Gaussians and their associated attributes necessitate effective compression techniques. Nevertheless, the sparse and unorganized nature of the point cloud of Gaussians (or anchors in our paper) presents challenges for compression. To achieve a compact size, we propose HAC++, which leverages the relationships between unorganized anchors and a structured hash grid, utilizing their mutual information for context modeling. Additionally, HAC++ captures intra-anchor contextual relationships to further enhance compression performance. To facilitate entropy coding, we utilize Gaussian distributions to precisely estimate the probability of each quantized attribute, where an adaptive quantization module is proposed to enable high-precision quantization of these attributes for improved fidelity restoration. Moreover, we incorporate an adaptive masking strategy to eliminate invalid Gaussians and anchors. Overall, HAC++ achieves a remarkable size reduction of over 100X compared to vanilla 3DGS when averaged on all datasets, while simultaneously improving fidelity. It also delivers more than 20X size reduction compared to Scaffold-GS. Our code is available at https://github.com/YihangChen-ee/HAC-plus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google