Compressing Volumetric Radiance Fields to 1 MB

要約

ボリュメトリック グリッドを使用して放射輝度場を近似することは、超高速のトレーニング収束とリアルタイム レンダリングを実現する Plenoxels や DVGO などの方法に代表される NeRF を改善するための有望な方向性の 1 つです。
ただし、これらの方法は通常、膨大なストレージ オーバーヘッドを必要とし、1 つのシーンで最大数百メガバイトのディスク容量とランタイム メモリを消費します。
このホワイト ペーパーでは、これらのボリューム グリッド ベースの放射輝度フィールドを圧縮するための、ベクトル量子化放射輝度フィールド (VQRF) と呼ばれるシンプルで効果的なフレームワークを導入することによって、この問題に対処します。
最初に、グリッド モデルの冗長性を推定し、ボリューム レンダリングの中間出力をより適切に調査することでボクセルの刈り込みを実行するための堅牢で適応性のあるメトリックを提示します。
グリッドモデルのコンパクトさを改善するために、トレーニング可能なベクトル量子化がさらに提案されています。
効率的なジョイント チューニング戦略と後処理を組み合わせることで、モデル全体のサイズを 1 MB に縮小することで、ビジュアル品質の損失を無視して 100$\times$ の圧縮率を実現できます。
広範な実験により、提案されたフレームワークが比類のないパフォーマンスを達成し、異なる体積構造を持つ複数の方法で十分に一般化できることが実証され、現実世界のアプリケーションでの体積放射輝度場法の幅広い使用が促進されます。
コードは \url{https://github.com/AlgoHunt/VQRF} で入手可能

要約(オリジナル)

Approximating radiance fields with volumetric grids is one of promising directions for improving NeRF, represented by methods like Plenoxels and DVGO, which achieve super-fast training convergence and real-time rendering. However, these methods typically require a tremendous storage overhead, costing up to hundreds of megabytes of disk space and runtime memory for a single scene. We address this issue in this paper by introducing a simple yet effective framework, called vector quantized radiance fields (VQRF), for compressing these volume-grid-based radiance fields. We first present a robust and adaptive metric for estimating redundancy in grid models and performing voxel pruning by better exploring intermediate outputs of volumetric rendering. A trainable vector quantization is further proposed to improve the compactness of grid models. In combination with an efficient joint tuning strategy and post-processing, our method can achieve a compression ratio of 100$\times$ by reducing the overall model size to 1 MB with negligible loss on visual quality. Extensive experiments demonstrate that the proposed framework is capable of achieving unrivaled performance and well generalization across multiple methods with distinct volumetric structures, facilitating the wide use of volumetric radiance fields methods in real-world applications. Code Available at \url{https://github.com/AlgoHunt/VQRF}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google