WavePlanes: A compact Wavelet representation for Dynamic Neural Radiance Fields

要約

Dynamic Neural Radiance Fields (Dynamic NeRF) は、動きのあるシーンをモデル化するために NeRF テクノロジーを強化します。
ただし、リソースを大量に消費するため、圧縮するのが困難です。
これらの問題に対処するために、この文書では、高速でコンパクトな明示的モデルである WavePlanes を紹介します。
N レベルの 2 次元ウェーブレット係数を使用して、マルチスケールの空間および時空間の特徴平面表現を提案します。
逆離散ウェーブレット変換は、さまざまな詳細で特徴信号を再構築し、これを線形デコードして 4 次元グリッド内のボリュームの色と密度を近似します。
ウェーブレット係数のスパース性を利用して、非ゼロ係数と各平面上のそれらの位置のみを含むハッシュ マップを使用してモデルを圧縮します。
WavePlanes は、最先端 (SotA) プレーン ベースのモデルと比較して、最大 15 倍小型でありながら、リソース要求が少なく、パフォーマンスとトレーニング時間の点で競争力があります。
他の小型 SotA モデルと比較して、WavePlanes はカスタム CUDA コードや高性能コンピューティング リソースを必要とせずに詳細をよりよく保存します。
私たちのコードは https://github.com/azzarelli/waveplanes/ で入手できます。

要約(オリジナル)

Dynamic Neural Radiance Fields (Dynamic NeRF) enhance NeRF technology to model moving scenes. However, they are resource intensive and challenging to compress. To address these issues, this paper presents WavePlanes, a fast and more compact explicit model. We propose a multi-scale space and space-time feature plane representation using N-level 2-D wavelet coefficients. The inverse discrete wavelet transform reconstructs feature signals at varying detail, which are linearly decoded to approximate the color and density of volumes in a 4-D grid. Exploiting the sparsity of wavelet coefficients, we compress the model using a Hash Map containing only non-zero coefficients and their locations on each plane. Compared to the state-of-the-art (SotA) plane-based models, WavePlanes is up to 15x smaller while being less resource demanding and competitive in performance and training time. Compared to other small SotA models WavePlanes preserves details better without requiring custom CUDA code or high performance computing resources. Our code is available at: https://github.com/azzarelli/waveplanes/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google