MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table

要約

タイトル：MF-NeRF：混合特徴ハッシュテーブルを使用したメモリ効率の高いNeRF

要約：
– Neural radiance field（NeRF）は、フォトリアルな新しい視点を生成することにおいて驚異的な性能を示している。
– NeRFの登場以来、グリッドのような明示的な構造を持つ機能を管理する研究が多数行われており、これにより、多層パーセプトロン（MLP）ネットワークの複雑さを低減して非常に高速なトレーニングが実現している。
– しかし、密なグリッドに特徴を保存することは、非常に大きなメモリスペースを必要とし、コンピュータシステムにおけるメモリボトルネックを引き起こし、大きなトレーニング時間につながる。
– この問題に対処するために、本研究では、メモリ効率が高く、再構築品質を維持しながらトレーニング時間を短縮するために混合特徴ハッシュテーブルを採用したMF-NeRFというメモリ効率の高いNeRFフレームワークを提案している。
– 最初に、混合特徴ハッシュテーブルを設計し、多レベル特徴グリッドの一部を自适応的に混ぜて、一つのハッシュテーブルにマップする。
– その後、グリッドポイントの正しいインデックスを取得するために、任意のレベルグリッドのインデックスを標準グリッドのインデックスに変換するインデックス変換方法をさらに設計する。
– Instant-NGP、TensoRF、DVGOなどの最先端のベンチマーク実験によると、同じGPUハードウェアで類似またはより高い再構築品質を実現しながら、MF-NeRFが最も高速なトレーニング時間を実現できることが示される。
– ソースコードはhttps://github.com/nfyfamr/MF-NeRFで入手可能。

要約(オリジナル)

Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Since the emergence of NeRF, many studies have been conducted, among which managing features with explicit structures such as grids has achieved exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids requires significantly large memory space, which leads to memory bottleneck in computer systems and thus large training time. To address this issue, in this work, we propose MF-NeRF, a memory-efficient NeRF framework that employs a mixed-feature hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. We first design a mixed-feature hash table to adaptively mix part of multi-level feature grids into one and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further design an index transformation method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MF-NeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality. Source code is available at https://github.com/nfyfamr/MF-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI