MixNeRF: Memory Efficient NeRF with Feature Mixed-up Hash Table

要約

【タイトル】MixNeRF: メモリ効率のよいFeature Mixed-up Hash Tableを使用したNeRF

【要約】
– NeRFは、写真のようなリアルな映像の生成に優れた性能を発揮しており、NeRFの登場以来、多くの研究が行われてきた。
– しかし、特徴をグリッドのような明示的な構造で管理することによって、多層パーセプトロン（MLP）ネットワークの複雑性を低減することで、非常に高速なトレーニングが可能になった反面、密なグリッドに特徴を格納することは、大規模なメモリスペースを必要とするため、コンピューターシステムでのメモリボトルネックを引き起こし、トレーニング時間が長くなるという問題があった。
– この問題に対処するために、本研究では、メモリ効率のよいNeRFフレームワークMixNeRFを提案する。
– MixNeRFは、Feature Mixed-up Hash Tableを使用することで、メモリ効率を改善し、トレーニング時間を短縮しながら、再構築品質を維持する。
– まず、複数のレベルの特徴グリッドの一部を適応的に混合するmixed-up hash tableを設計する。
– 次に、グリッドポイントの正しいインデックスを取得するために、任意のレベルのグリッドのインデックスを標準的なグリッドのインデックスに変換するインデックス変換方法をさらに設計する。
– State-of-the-artのInstant-NGP、TensoRF、DVGOとの比較実験により、同じGPUハードウェアで、MixNeRFが同様またはそれ以上の再構築品質を持ち、最速のトレーニング時間を実現できることが示された。

要約(オリジナル)

Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Since the emergence of NeRF, many studies have been conducted, among which managing features with explicit structures such as grids has achieved exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids requires significantly large memory space, which leads to memory bottleneck in computer systems and thus large training time. To address this issue, in this work, we propose MixNeRF, a memory-efficient NeRF framework that employs a mixed-up hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. We first design a \textit{mixed-up hash table} to adaptively mix part of multi-level feature grids into one and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further design an \textit{index transformation} method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MixNeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality. Source code is available at \url{https://github.com/nfyfamr/MixNeRF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI