The NeRFect Match: Exploring NeRF Features for Visual Localization

要約

この研究では、視覚的位置特定のためのシーン表現として Neural Radiance Fields (NeRF) を使用することを提案します。
最近、NeRF は、トレーニング データベースを強化したり、レンダリングされたイメージを通じて補助的な監視を提供したり、反復改良モジュールとして機能したりすることにより、姿勢回帰およびシーン座標回帰モデルを強化するために使用されています。
私たちは、位置特定のための正確な 2D-3D 一致を確立する際の NeRF の内部機能の可能性を探ることにより、認識されている利点、つまり現実的な外観と正確なジオメトリを備えたコンパクトなシーン表現を提供する能力を拡張します。
この目的を達成するために、ビュー合成を通じて取得された NeRF の暗黙知をさまざまな条件下でマッチングするために包括的に検査します。
これには、さまざまなマッチング ネットワーク アーキテクチャの探索、複数のレイヤでのエンコーダ機能の抽出、およびトレーニング構成の変更が含まれます。
重要なのは、ビュー合成を通じて学習した NeRF の内部知識を活用する高度な 2D-3D マッチング機能である NeRFMatch を導入することです。
構造ベースのパイプライン内での標準的なローカリゼーション ベンチマークでの NeRFMatch の評価により、ケンブリッジ ランドマークでのローカリゼーション パフォーマンスの新しい最先端が確立されました。

要約(オリジナル)

In this work, we propose the use of Neural Radiance Fields (NeRF) as a scene representation for visual localization. Recently, NeRF has been employed to enhance pose regression and scene coordinate regression models by augmenting the training database, providing auxiliary supervision through rendered images, or serving as an iterative refinement module. We extend its recognized advantages — its ability to provide a compact scene representation with realistic appearances and accurate geometry — by exploring the potential of NeRF’s internal features in establishing precise 2D-3D matches for localization. To this end, we conduct a comprehensive examination of NeRF’s implicit knowledge, acquired through view synthesis, for matching under various conditions. This includes exploring different matching network architectures, extracting encoder features at multiple layers, and varying training configurations. Significantly, we introduce NeRFMatch, an advanced 2D-3D matching function that capitalizes on the internal knowledge of NeRF learned via view synthesis. Our evaluation of NeRFMatch on standard localization benchmarks, within a structure-based pipeline, sets a new state-of-the-art for localization performance on Cambridge Landmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google