Renderable Neural Radiance Map for Visual Navigation

要約

3D環境の全体的な視覚情報を含むように設計された、レンダリング可能なニューラル放射輝度マップ（RNR-Map）である視覚ナビゲーション用の新しいタイプのマップを提案します。
RNR-Map はグリッド形式を持ち、各ピクセルの潜在コードで構成されます。
これらの潜在的なコードは、画像観測から埋め込まれ、カメラの姿勢が与えられた画像レンダリングを可能にするニューラル放射輝度場に変換できます。
記録された潜在コードには、環境に関する視覚情報が暗示的に含まれているため、RNR マップは視覚的に説明的になります。
RNR-Map のこの視覚情報は、視覚的なローカリゼーションとナビゲーションの有用なガイドラインとなります。
RNR-Mapを効果的に活用できるローカリゼーションとナビゲーションのフレームワークを開発します。
カメラの追跡、視覚的なローカリゼーション、および画像と目標のナビゲーションに関する提案されたフレームワークを評価します。
実験結果は、RNR マップ ベースのローカリゼーション フレームワークが、単一のクエリ画像に基づいて、他のベースラインと比較して高速で競争力のある精度でターゲットの場所を見つけることができることを示しています。
また、このローカリゼーション フレームワークは、環境の変化に対して堅牢であり、異なる環境からのクエリ画像が与えられた場合でも、視覚的に最も類似した場所を見つけます。
提案されたナビゲーション フレームワークは、オドメトリと作動ノイズの下で、困難なシナリオで既存のイメージ ゴール ナビゲーション メソッドよりも優れています。
ナビゲーション フレームワークは、NRNS データセットの曲線シナリオで 65.7% の成功率を示しています。これは、現在の最先端技術よりも 18.6% 向上しています。
プロジェクトページ: https://rllab-snu.github.io/projects/RNR-Map/

要約(オリジナル)

We propose a novel type of map for visual navigation, a renderable neural radiance map (RNR-Map), which is designed to contain the overall visual information of a 3D environment. The RNR-Map has a grid form and consists of latent codes at each pixel. These latent codes are embedded from image observations, and can be converted to the neural radiance field which enables image rendering given a camera pose. The recorded latent codes implicitly contain visual information about the environment, which makes the RNR-Map visually descriptive. This visual information in RNR-Map can be a useful guideline for visual localization and navigation. We develop localization and navigation frameworks that can effectively utilize the RNR-Map. We evaluate the proposed frameworks on camera tracking, visual localization, and image-goal navigation. Experimental results show that the RNR-Map-based localization framework can find the target location based on a single query image with fast speed and competitive accuracy compared to other baselines. Also, this localization framework is robust to environmental changes, and even finds the most visually similar places when a query image from a different environment is given. The proposed navigation framework outperforms the existing image-goal navigation methods in difficult scenarios, under odometry and actuation noises. The navigation framework shows 65.7% success rate in curved scenarios of the NRNS dataset, which is an improvement of 18.6% over the current state-of-the-art. Project page: https://rllab-snu.github.io/projects/RNR-Map/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google