MixNeRF: Memory Efficient NeRF with Feature Mixed-up Hash Table

要約

タイトル：MixNeRF：Feature Mixed-up Hash Tableを備えたメモリ効率の高いNeRF

要約：

– NeRFは写真のようなリアルな新しい視点を生成するための優れたパフォーマンスを示しています。
– NeRFが登場して以来、グリッドのような明示的な構造を持つ特徴を管理する多層パーセプトロン（MLP）ネットワークの複雑さを減らすことで、特徴を処理するための研究が多数行われています。
– しかし、特徴を密なグリッドに保存すると、コンピュータシステムのメモリボトルネックを引き起こし、大きなトレーニング時間が必要になります。
– この問題を解決するために、本研究では、メモリ効率の高いNeRFフレームワークであるMixNeRFを提案しています。
– MixNeRFは、ハッシュテーブルを利用してメモリ効率を改善し、トレーニング時間を短縮し、再構築品質を維持するために、自動的に多層機能グリッドの一部を混合するミックスアップハッシュテーブルを設計しています。
– さらに、グリッドポイントの正しいインデックスを取得するために、任意のレベルグリッドのインデックスを正準グリッドのインデックスに変換するインデックス変換方法を設計しています。
– Instant-NGP、TensoRF、DVGOの最新のベンチマークとの広範な実験により、同じGPUハードウェア上でMixNeRFが同様またはより高い再構築品質を達成しながら、最速のトレーニング時間を達成できることが示されました。
– ソースコードはhttps://github.com/nfyfamr/MixNeRFで利用可能です。

要約(オリジナル)

Neural radiance field (NeRF) has shown remarkable performance in generating photo-realistic novel views. Since the emergence of NeRF, many studies have been conducted, among which managing features with explicit structures such as grids has achieved exceptionally fast training by reducing the complexity of multilayer perceptron (MLP) networks. However, storing features in dense grids requires significantly large memory space, which leads to memory bottleneck in computer systems and thus large training time. To address this issue, in this work, we propose MixNeRF, a memory-efficient NeRF framework that employs a mixed-up hash table to improve memory efficiency and reduce training time while maintaining reconstruction quality. We first design a mixed-up hash table to adaptively mix part of multi-level feature grids into one and map it to a single hash table. Following that, in order to obtain the correct index of a grid point, we further design an index transformation method that transforms indices of an arbitrary level grid to those of a canonical grid. Extensive experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO, indicate our MixNeRF could achieve the fastest training time on the same GPU hardware with similar or even higher reconstruction quality. Source code is available at https://github.com/nfyfamr/MixNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI