NeRF-Loc: Visual Localization with Conditional Neural Radiance Field

要約

タイトル：条件付きニューラル放射場を用いた視覚的再ローカリゼーション

要約：

– 新しいビジュアル再ローカリゼーション手法を提案する。
– 3D記述子と2D画像の間の直接的なマッチングに基づく。
– NeRF（ニューラル放射場）を3Dシーン表現として採用した。
– フィーチャマッチングとシーン座標回帰を同じフレームワークに統合することで、モデルは2つのトレーニングステージで一般的な知識とシーン先行知識を学習する。
– さらに、トレーニングとテストのフェーズの間にドメインギャップが存在する場合に、外観適応レイヤーの提案により、3Dモデルとクエリ画像のスタイルを明示的に整合させることでローカリゼーションの堅牢性を向上させる。
– 複数のベンチマークで、他の学習ベースの手法よりも高いローカリゼーション精度を達成する。
– コードは\url {https://github.com/JenningsL/nerf-loc}で利用可能。

要約(オリジナル)

We propose a novel visual re-localization method based on direct matching between the implicit 3D descriptors and the 2D image with transformer. A conditional neural radiance field(NeRF) is chosen as the 3D scene representation in our pipeline, which supports continuous 3D descriptors generation and neural rendering. By unifying the feature matching and the scene coordinate regression to the same framework, our model learns both generalizable knowledge and scene prior respectively during two training stages. Furthermore, to improve the localization robustness when domain gap exists between training and testing phases, we propose an appearance adaptation layer to explicitly align styles between the 3D model and the query image. Experiments show that our method achieves higher localization accuracy than other learning-based approaches on multiple benchmarks. Code is available at \url{https://github.com/JenningsL/nerf-loc}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI