360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields

要約

まばらな 360$^\circ$ 画像間の仮想ツアーは広く使用されていますが、スムーズで没入型のローミング エクスペリエンスを妨げています。
Neural Radiance Field (NeRF) の出現は、新しいビューの合成における大きな進歩を示し、没入型シーン探索の可能性を解き放ちました。
それにもかかわらず、以前の NeRF の作業は主にオブジェクト中心のシナリオに焦点を当てていたため、外向きの大規模シーンに適用すると、シーンのパラメーター化の制限により顕著なパフォーマンスの低下が発生しました。
シームレスでリアルタイムの屋内ローミングを実現するために、適応的に割り当てられたローカル放射輝度フィールドを持つジオメトリを意識した放射輝度フィールドを使用する新しいアプローチを提案します。
最初に、屋内シーンの複数の 360$^\circ$ 画像を使用して、グローバルな全方向放射フィールドから導出された確率的占有マップの形で明示的なジオメトリを徐々に再構築します。
続いて、復元されたジオメトリに基づいて、適応的な分割統治戦略を通じて局所的な放射輝度フィールドを割り当てます。
ジオメトリを意識したサンプリングとグローバル放射フィールドの分解を組み込むことにより、当社のシステムは位置エンコーディングとコンパクトなニューラル ネットワークを効果的に利用して、レンダリングの品質と速度を向上させます。
さらに、抽出されたシーンのフロアプランは視覚的なガイダンスの提供に役立ち、現実的なローミング エクスペリエンスに貢献します。
私たちのシステムの有効性を実証するために、私たちは現実のさまざまなシーンを含む360$^\circ$画像の多様なデータセットを厳選し、それに対して広範な実験を実施しました。
ベースライン アプローチとの定量的および定性的な比較により、大規模な屋内シーンのローミングにおけるシステムの優れたパフォーマンスが実証されました。

要約(オリジナル)

Virtual tour among sparse 360$^\circ$ images is widely used while hindering smooth and immersive roaming experiences. The emergence of Neural Radiance Field (NeRF) has showcased significant progress in synthesizing novel views, unlocking the potential for immersive scene exploration. Nevertheless, previous NeRF works primarily focused on object-centric scenarios, resulting in noticeable performance degradation when applied to outward-facing and large-scale scenes due to limitations in scene parameterization. To achieve seamless and real-time indoor roaming, we propose a novel approach using geometry-aware radiance fields with adaptively assigned local radiance fields. Initially, we employ multiple 360$^\circ$ images of an indoor scene to progressively reconstruct explicit geometry in the form of a probabilistic occupancy map, derived from a global omnidirectional radiance field. Subsequently, we assign local radiance fields through an adaptive divide-and-conquer strategy based on the recovered geometry. By incorporating geometry-aware sampling and decomposition of the global radiance field, our system effectively utilizes positional encoding and compact neural networks to enhance rendering quality and speed. Additionally, the extracted floorplan of the scene aids in providing visual guidance, contributing to a realistic roaming experience. To demonstrate the effectiveness of our system, we curated a diverse dataset of 360$^\circ$ images encompassing various real-life scenes, on which we conducted extensive experiments. Quantitative and qualitative comparisons against baseline approaches illustrated the superior performance of our system in large-scale indoor scene roaming.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google