WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance Fields

要約

Dynamic Neural Radiance Fields (Dynamic NeRF) は、動きのあるシーンをモデル化するために NeRF テクノロジーを強化します。
ただし、リソースを大量に消費するため、圧縮するのが困難です。
この問題に対処するために、この文書では、高速でコンパクトな明示的モデルである WavePlanes を紹介します。
N レベルの 2 次元ウェーブレット係数を使用して、マルチスケールの空間および時空間の特徴平面表現を提案します。
逆離散ウェーブレット変換は、さまざまな詳細で N 個の特徴信号を再構築します。これらの信号は線形デコードされて、4 次元グリッド内のボリュームの色と密度を近似します。
ウェーブレット係数のスパース性を利用して、非ゼロ係数と各平面上のそれらの位置のみを含むハッシュ マップを圧縮します。
これにより、圧縮されたモデルのサイズは約 12 MB になります。
最先端の平面ベースのモデルと比較して、WavePlanes は最大 15 倍小さく、計算負荷が低く、カスタム CUDA コードや高性能コンピューティング リソースを必要とせずに、わずか 1 時間のトレーニングで同等の結果を達成します。
さらに、より高い解釈可能性を提供しながら、以前に提案されたスキームと同様に機能する新しい機能融合スキームを提案します。
私たちのコードは https://github.com/azzarelli/waveplanes/ で入手できます。

要約(オリジナル)

Dynamic Neural Radiance Fields (Dynamic NeRF) enhance NeRF technology to model moving scenes. However, they are resource intensive and challenging to compress. To address this issue, this paper presents WavePlanes, a fast and more compact explicit model. We propose a multi-scale space and space-time feature plane representation using N-level 2-D wavelet coefficients. The inverse discrete wavelet transform reconstructs N feature signals at varying detail, which are linearly decoded to approximate the color and density of volumes in a 4-D grid. Exploiting the sparsity of wavelet coefficients, we compress a Hash Map containing only non-zero coefficients and their locations on each plane. This results in a compressed model size of ~12 MB. Compared with state-of-the-art plane-based models, WavePlanes is up to 15x smaller, less computationally demanding and achieves comparable results in as little as one hour of training – without requiring custom CUDA code or high performance computing resources. Additionally, we propose new feature fusion schemes that work as well as previously proposed schemes while providing greater interpretability. Our code is available at: https://github.com/azzarelli/waveplanes/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google