DistGrid: Scalable Scene Reconstruction with Distributed Multi-resolution Hash Grid

要約

Neural Radiance Field~(NeRF) は、オブジェクトスケールの屋内シーンの再構築において非常に高い品質を実現します。
ただし、大規模なシーンを再構築する場合には、いくつかの課題が存在します。
MLP ベースの NeRF はネットワーク容量の制限に悩まされますが、ボリューム ベースの NeRF はシーンの解像度が上がると大量のメモリを消費します。
最近のアプローチでは、シーンを地理的に分割し、個別の NeRF を使用して各サブ領域を学習することが提案されています。
このようなパーティショニング戦略は、ボリュームベースの NeRF が単一 GPU メモリの制限を超え、より大きなシーンに拡張するのに役立ちます。
ただし、このアプローチでは、パーティション外のレイを処理するために複数のバックグラウンド NeRF が必要となり、学習の冗長性が生じます。
現在のパーティションの背景が隣接するパーティションの前景であるという事実に触発されて、DistGrid という名前の結合多重解像度ハッシュ グリッドに基づくスケーラブルなシーン再構成方法を提案します。
この方法では、シーンが複数の密に舗装されているが重なり合っていない軸整合バウンディング ボックスに分割され、境界を越える光線を処理するための新しいセグメント化ボリューム レンダリング方法が提案されており、それによって背景 NeRF の必要性が排除されます。
実験は、私たちの方法が評価されたすべての大規模シーンで既存の方法を上回っており、視覚的に妥当なシーンの再構成を提供することを示しています。
再構成の品質に関する私たちの方法の拡張性は、定性的および定量的にさらに評価されます。

要約(オリジナル)

Neural Radiance Field~(NeRF) achieves extremely high quality in object-scaled and indoor scene reconstruction. However, there exist some challenges when reconstructing large-scale scenes. MLP-based NeRFs suffer from limited network capacity, while volume-based NeRFs are heavily memory-consuming when the scene resolution increases. Recent approaches propose to geographically partition the scene and learn each sub-region using an individual NeRF. Such partitioning strategies help volume-based NeRF exceed the single GPU memory limit and scale to larger scenes. However, this approach requires multiple background NeRF to handle out-of-partition rays, which leads to redundancy of learning. Inspired by the fact that the background of current partition is the foreground of adjacent partition, we propose a scalable scene reconstruction method based on joint Multi-resolution Hash Grids, named DistGrid. In this method, the scene is divided into multiple closely-paved yet non-overlapped Axis-Aligned Bounding Boxes, and a novel segmented volume rendering method is proposed to handle cross-boundary rays, thereby eliminating the need for background NeRFs. The experiments demonstrate that our method outperforms existing methods on all evaluated large-scale scenes, and provides visually plausible scene reconstruction. The scalability of our method on reconstruction quality is further evaluated qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google