Renderable Neural Radiance Map for Visual Navigation

要約

我々は、3D環境の全体的な視覚情報を含むように設計された、視覚ナビゲーション用の新しいタイプのマップ、レンダブル神経輝度マップ（RNR-Map）を提案する。RNR-Mapは格子状の形状を持ち、各画素の潜在的なコードから構成されている。これらの潜在コードは画像観測から埋め込まれ、カメラのポーズが与えられた画像レンダリングを可能にするニューラルラジアンスフィールドに変換することができます。記録された潜在コードは暗黙のうちに環境に関する視覚情報を含んでおり、RNR-Mapを視覚的に説明することができる。このRNR-Mapの視覚情報は、視覚的なローカライゼーションやナビゲーションに有用な指針となり得る。我々は、RNR-Mapを効果的に利用できるローカライゼーションとナビゲーションのフレームワークを開発する。提案するフレームワークを、カメラ追跡、視覚的定位、画像ゴールナビゲーションで評価する。実験の結果、RNR-Mapを用いたローカライゼーションフレームワークは、他のベースラインと比較して、単一のクエリ画像に基づいて、高速かつ競争力のある精度でターゲット位置を見つけることができることが示された。また、このローカリゼーションフレームワークは環境変化に強く、異なる環境からのクエリ画像が与えられた場合でも、最も視覚的に類似した場所を見つけることさえできる。提案するナビゲーションフレームワークは、オドメトリやアクチュエーションノイズのある難しいシナリオにおいて、既存のイメージゴールナビゲーション手法を凌駕する性能を示す。ナビゲーションフレームワークは、NRNSデータセットの湾曲したシナリオにおいて65.7%の成功率を示し、これは現在の最先端技術に対して18.6%の改善である。

要約(オリジナル)

We propose a novel type of map for visual navigation, a renderable neural radiance map (RNR-Map), which is designed to contain the overall visual information of a 3D environment. The RNR-Map has a grid form and consists of latent codes at each pixel. These latent codes are embedded from image observations, and can be converted to the neural radiance field which enables image rendering given a camera pose. The recorded latent codes implicitly contain visual information about the environment, which makes the RNR-Map visually descriptive. This visual information in RNR-Map can be a useful guideline for visual localization and navigation. We develop localization and navigation frameworks that can effectively utilize the RNR-Map. We evaluate the proposed frameworks on camera tracking, visual localization, and image-goal navigation. Experimental results show that the RNR-Map-based localization framework can find the target location based on a single query image with fast speed and competitive accuracy compared to other baselines. Also, this localization framework is robust to environmental changes, and even finds the most visually similar places when a query image from a different environment is given. The proposed navigation framework outperforms the existing image-goal navigation methods in difficult scenarios, under odometry and actuation noises. The navigation framework shows 65.7% success rate in curved scenarios of the NRNS dataset, which is an improvement of 18.6% over the current state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL