360Roam: Real-Time Indoor Roaming Using Geometry-Aware ${360^\circ}$ Radiance Fields

要約

Neural Radiance Field (NeRF)は、近年、新しいビュー合成において印象的な結果を達成している。しかし、これまでのNeRFに関する研究は、主に物体中心のシナリオに焦点を当てたものであった。本研究では、大規模な室内シーンの画像をリアルタイムに合成し、VRローミングをサポートする新しいシーンレベルのNeRFシステムである360Roamを提案する。本システムは、まず、複数の入力画像$360^circ$から全方位神経放射場360NeRFを構築する。次に、360NeRFを用いて、シーンの形状を空間密度の形で表現する3次元確率的占有マップを漸進的に推定する。360NeRFを用いることで、空いたスペースをスキップし、占有されたボクセルをアップサンプリングすることで、形状を考慮したボリュームレンダリングを高速化することができる。さらに、適応的な分割統治戦略を用いて、ラディアンスフィールドのスリム化と微調整を行い、さらなる改善を図ります。占有マップから抽出されたシーンのフロアプランは、レイサンプリングのためのガイダンスを提供し、リアルなローミング体験を促進することができます。本システムの有効性を示すために、様々なシーンで$360^circ$の画像データセットを収集し、広範な実験を行った。ベースライン間の定量的・定性的比較により、複雑な室内シーンに対する新しいビュー合成における我々の優位性が示された。

要約(オリジナル)

Neural radiance field (NeRF) has recently achieved impressive results in novel view synthesis. However, previous works on NeRF mainly focus on object-centric scenarios. In this work, we propose 360Roam, a novel scene-level NeRF system that can synthesize images of large-scale indoor scenes in real time and support VR roaming. Our system first builds an omnidirectional neural radiance field 360NeRF from multiple input $360^\circ$ images. Using 360NeRF, we then progressively estimate a 3D probabilistic occupancy map which represents the scene geometry in the form of spacial density. Skipping empty spaces and upsampling occupied voxels essentially allows us to accelerate volume rendering by using 360NeRF in a geometry-aware fashion. Furthermore, we use an adaptive divide-and-conquer strategy to slim and fine-tune the radiance fields for further improvement. The floorplan of the scene extracted from the occupancy map can provide guidance for ray sampling and facilitate a realistic roaming experience. To show the efficacy of our system, we collect a $360^\circ$ image dataset in a large variety of scenes and conduct extensive experiments. Quantitative and qualitative comparisons among baselines illustrated our predominant performance in novel view synthesis for complex indoor scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL