MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table

要約

Neural Radiance Field (NeRF) は、フォトリアリスティックな新しいビューの生成において顕著なパフォーマンスを示しています。
最近の NeRF 関連研究の中でも、グリッドなどの明示的な構造を利用して特徴を管理するアプローチは、多層パーセプトロン (MLP) ネットワークの複雑さを軽減することで、非常に高速なトレーニングを実現します。
ただし、フィーチャを高密度のグリッドに格納するには、かなりの量のメモリ スペースが必要となり、コンピュータ システム内で顕著なメモリ ボトルネックが発生します。
その結果、事前にハイパーパラメーターを調整しないと、トレーニング時間が大幅に増加します。
この問題に対処するために、この研究では、混合特徴ハッシュ テーブルを使用してメモリ効率を向上させ、再構築の品質を維持しながらトレーニング時間を短縮するメモリ効率の高い NeRF フレームワークである MF-NeRF を初めて提案しました。
具体的には、まず混合特徴ハッシュ エンコーディングを設計して、マルチレベル特徴グリッドの一部を適応的に混合し、それを単一のハッシュ テーブルにマッピングします。
続いて、格子点の正しいインデックスを取得するために、任意のレベル グリッドのインデックスを標準グリッドのインデックスに変換するインデックス変換手法をさらに開発します。
最先端の Instant-NGP、TensoRF、DVGO を使用した広範な実験のベンチマークにより、MF-NeRF が同じ GPU ハードウェア上で同等またはそれ以上の再構成品質で最速のトレーニング時間を達成できることが示されました。

要約(オリジナル)

Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Among recent NeRF related research, the approaches that involve the utilization of explicit structures like grids to manage features achieve exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids demands a substantial amount of memory space, resulting in a notable memory bottleneck within computer system. Consequently, it leads to a significant increase in training times without prior hyper-parameter tuning. To address this issue, in this work, we are the first to propose MF-NeRF, a memory-efficient NeRF framework that employs a Mixed-Feature hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. Specifically, we first design a mixed-feature hash encoding to adaptively mix part of multi-level feature grids and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further develop an index transformation method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MF-NeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google