Compact Real-time Radiance Fields with Neural Codebook

要約

Plenoxels によって実証された明示的なボリューム表現による神経放射フィールドの再構築は、トレーニングとレンダリングの効率において顕著な利点を示していますが、グリッドベースの表現では通常、保存と送信にかなりのオーバーヘッドが生じます。
この研究では、圧縮方法論の観点からコンパクトな放射フィールドを追求するためのシンプルで効果的なフレームワークを紹介します。
グリッド モデルに現れる固有の特性を利用することで、モデルの複雑さを大幅に軽減するために不均一な圧縮ステムが開発され、ニューラル コードブックと呼ばれる新しいパラメーター化モジュールが導入され、シーンごとのモデルに特有の高周波の詳細を高速エンコードによってより適切にエンコードします。
最適化。
私たちのアプローチは、競争力のあるレンダリング品質でグリッド モデル ストレージを 40 $\time$ 以上削減することができます。
さらに、この方法は 180 fps のリアルタイム レンダリング速度を達成でき、リアルタイム レンダリング方法と比較してストレージ コストの点で大幅な利点を実現します。

要約(オリジナル)

Reconstructing neural radiance fields with explicit volumetric representations, demonstrated by Plenoxels, has shown remarkable advantages on training and rendering efficiency, while grid-based representations typically induce considerable overhead for storage and transmission. In this work, we present a simple and effective framework for pursuing compact radiance fields from the perspective of compression methodology. By exploiting intrinsic properties exhibiting in grid models, a non-uniform compression stem is developed to significantly reduce model complexity and a novel parameterized module, named Neural Codebook, is introduced for better encoding high-frequency details specific to per-scene models via a fast optimization. Our approach can achieve over 40 $\times$ reduction on grid model storage with competitive rendering quality. In addition, the method can achieve real-time rendering speed with 180 fps, realizing significant advantage on storage cost compared to real-time rendering methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google