SPC-NeRF: Spatial Predictive Compression for Voxel Based Radiance Field

要約

Neural Radiance Field (NeRF) を明示的なボクセル グリッド (EVG) で表現することは、NeRF を改善するための有望な方向性です。
ただし、EVG 表現はメモリ コストが膨大であるため、保存や送信には効率的ではありません。
EVG を圧縮するための現在の方法は、主に、枝刈りや量子化など、ニューラル ネットワーク圧縮用に設計された方法を継承していますが、ボクセルの空間相関を十分に活用していません。
この論文は、盛んなデジタル画像圧縮技術に触発されて、EVG 圧縮に空間予測符号化を適用する新しいフレームワークである SPC-NeRF を提案します。
提案されたフレームワークは、空間的冗長性を効率的に除去して圧縮パフォーマンスを向上させることができます。さらに、ビットレートをモデル化し、新しい形式の損失関数を設計します。これにより、圧縮率と歪みを共同で最適化し、より高い符号化効率を達成できます。
広範な実験により、私たちの手法は、複数の代表的なテスト データセット上で、同等のトレーニング時間で、最先端の手法である VQRF と比較して 32% のビット節約を達成できることが実証されています。

要約(オリジナル)

Representing the Neural Radiance Field (NeRF) with the explicit voxel grid (EVG) is a promising direction for improving NeRFs. However, the EVG representation is not efficient for storage and transmission because of the terrific memory cost. Current methods for compressing EVG mainly inherit the methods designed for neural network compression, such as pruning and quantization, which do not take full advantage of the spatial correlation of voxels. Inspired by prosperous digital image compression techniques, this paper proposes SPC-NeRF, a novel framework applying spatial predictive coding in EVG compression. The proposed framework can remove spatial redundancy efficiently for better compression performance.Moreover, we model the bitrate and design a novel form of the loss function, where we can jointly optimize compression ratio and distortion to achieve higher coding efficiency. Extensive experiments demonstrate that our method can achieve 32% bit saving compared to the state-of-the-art method VQRF on multiple representative test datasets, with comparable training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google