PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields

要約

高品質の新しいビューを合成できるため、ニューラル ラディアンス フィールド (NeRF) は、既知の環​​境における視覚的位置特定を改善するために最近利用されています。
ただし、既存の方法は主に回帰モデルのトレーニングを改善するためのデータ拡張に NeRF を利用しており、幾何学的制約がないため、新しい視点や外観でのパフォーマンスは依然として制限されています。
この論文では、統一されたポイントベースの表現に基づいた新しい視覚的位置特定フレームワーク、つまり PNeRFLoc を提案します。
一方では、PNeRFLoc は、従来の構造ベースの方法として 2D および 3D の特徴点を照合することによって初期姿勢推定をサポートします。
その一方で、レンダリングベースの最適化を使用した新しいビュー合成によるポーズの洗練も可能になります。
具体的には、視覚的位置特定とニューラルレンダリングのための特徴間のギャップを埋めるための新しい特徴適応モジュールを提案します。
ニューラル レンダリング ベースの最適化の有効性と効率を向上させるために、ワーピング損失関数を備えた効率的なレンダリング ベースのフレームワークも開発します。
さらに、屋外シナリオの照明変化や動的オブジェクトを処理するために、いくつかの堅牢性技術が開発されています。
実験では、NeRF モデルが十分に学習でき、視覚的ローカライゼーション ベンチマーク データセットで SOTA メソッドと同等のパフォーマンスを発揮できる場合、PNeRFLoc が合成データで最高のパフォーマンスを発揮することが実証されています。

要約(オリジナル)

Due to the ability to synthesize high-quality novel views, Neural Radiance Fields (NeRF) have been recently exploited to improve visual localization in a known environment. However, the existing methods mostly utilize NeRFs for data augmentation to improve the regression model training, and the performance on novel viewpoints and appearances is still limited due to the lack of geometric constraints. In this paper, we propose a novel visual localization framework, \ie, PNeRFLoc, based on a unified point-based representation. On the one hand, PNeRFLoc supports the initial pose estimation by matching 2D and 3D feature points as traditional structure-based methods; on the other hand, it also enables pose refinement with novel view synthesis using rendering-based optimization. Specifically, we propose a novel feature adaption module to close the gaps between the features for visual localization and neural rendering. To improve the efficacy and efficiency of neural rendering-based optimization, we also develop an efficient rendering-based framework with a warping loss function. Furthermore, several robustness techniques are developed to handle illumination changes and dynamic objects for outdoor scenarios. Experiments demonstrate that PNeRFLoc performs the best on synthetic data when the NeRF model can be well learned and performs on par with the SOTA method on the visual localization benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google