Efficient Large-scale Scene Representation with a Hybrid of High-resolution Grid and Plane Features

要約

大規模なシーンモデリングのための既存のニューラル・ラディアンス・フィールド（NeRF）法は、複数のGPUを用いた数日間のトレーニングを必要とするため、計算資源が限られたシナリオでの応用を妨げています。これまでにも、密なグリッドやハッシュグリッドの特徴に基づく高速最適化NeRFが提案されてきましたが、その有効性は主にオブジェクトスケールのシーン表現で実証されています。本論文では、明示的な表現における低い特徴分解能が、大規模な非束縛シーン表現におけるボトルネックであることを指摘する。この問題に対処するため、我々は、3次元ハッシュグリッドと高解像度2次元密な平面特徴を融合させた、NeRFのための新しい効率的なハイブリッド特徴表現を導入する。密なグリッド表現と比較して、密な2次元平面の解像度はより効率的にスケールアップすることができる。このハイブリッド表現に基づき、GP-NeRFと呼ばれる高速最適化NeRF変種を提案し、コンパクトなモデルサイズを維持しながらより良いレンダリング結果を達成する。複数の大規模な非バインドシーンデータセットを用いた広範な実験により、我々のモデルは、8GPUで約1日のトレーニングを必要とする既存の手法と同等かそれ以上の結果を達成しながら、単一のGPUを用いて1.5時間で収束できることが示された。

要約(オリジナル)

Existing neural radiance fields (NeRF) methods for large-scale scene modeling require days of training using multiple GPUs, hindering their applications in scenarios with limited computing resources. Despite fast optimization NeRF variants have been proposed based on the explicit dense or hash grid features, their effectivenesses are mainly demonstrated in object-scale scene representation. In this paper, we point out that the low feature resolution in explicit representation is the bottleneck for large-scale unbounded scene representation. To address this problem, we introduce a new and efficient hybrid feature representation for NeRF that fuses the 3D hash-grids and high-resolution 2D dense plane features. Compared with the dense-grid representation, the resolution of a dense 2D plane can be scaled up more efficiently. Based on this hybrid representation, we propose a fast optimization NeRF variant, called GP-NeRF, that achieves better rendering results while maintaining a compact model size. Extensive experiments on multiple large-scale unbounded scene datasets show that our model can converge in 1.5 hours using a single GPU while achieving results comparable to or even better than the existing method that requires about one day’s training with 8 GPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL