VRS-NeRF: Visual Relocalization with Sparse Neural Radiance Field

要約

視覚的な再ローカリゼーションは、自動運転、ロボット工学、仮想現実/拡張現実にとって重要な技術です。
数十年の探求を経て、絶対ポーズ回帰 (APR)、シーン座標回帰 (SCR)、および階層的手法 (HM) が最も人気のあるフレームワークになりました。
ただし、APR と SCR は効率が高いにもかかわらず、特に大規模な屋外シーンでは精度が制限されます。
HM は正確ですが、マッチングのために多数の 2D 記述子を保存する必要があるため、効率が悪くなります。
この論文では、まばらな神経放射場を使用した視覚的再局在化のための、VRS-NeRF と呼ばれる効率的で正確なフレームワークを提案します。
正確には、3D マップ表現には明示的幾何マップ (EGM) を、まばらなパッチのレンダリングには暗黙的学習マップ (ILM) を導入します。
この位置特定プロセスでは、EGP は予備の 2D ポイントの事前分布を提供し、ILM はこれらのまばらなポイントを利用して、マッチング用のまばらな NeRF を持つパッチをレンダリングします。
これにより、多数の 2D 記述子を破棄してマップ サイズを削減できます。
さらに、イメージ全体のすべてのピクセルではなく、有用なポイントのみにパッチをレンダリングすることで、レンダリング時間が大幅に短縮されます。
このフレームワークは HM の精度を継承し、その低効率を捨て去りました。
7Scenes、CambridgeLandmarks、および Aachen データセットでの実験では、私たちの方法が APR や SCR よりもはるかに高い精度を示し、HM に近いパフォーマンスを示しますが、はるかに効率的であることが示されています。

要約(オリジナル)

Visual relocalization is a key technique to autonomous driving, robotics, and virtual/augmented reality. After decades of explorations, absolute pose regression (APR), scene coordinate regression (SCR), and hierarchical methods (HMs) have become the most popular frameworks. However, in spite of high efficiency, APRs and SCRs have limited accuracy especially in large-scale outdoor scenes; HMs are accurate but need to store a large number of 2D descriptors for matching, resulting in poor efficiency. In this paper, we propose an efficient and accurate framework, called VRS-NeRF, for visual relocalization with sparse neural radiance field. Precisely, we introduce an explicit geometric map (EGM) for 3D map representation and an implicit learning map (ILM) for sparse patches rendering. In this localization process, EGP provides priors of spare 2D points and ILM utilizes these sparse points to render patches with sparse NeRFs for matching. This allows us to discard a large number of 2D descriptors so as to reduce the map size. Moreover, rendering patches only for useful points rather than all pixels in the whole image reduces the rendering time significantly. This framework inherits the accuracy of HMs and discards their low efficiency. Experiments on 7Scenes, CambridgeLandmarks, and Aachen datasets show that our method gives much better accuracy than APRs and SCRs, and close performance to HMs but is much more efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google