Map-Free Visual Relocalization Enhanced by Instance Knowledge and Depth Knowledge

要約

マップフリーの再位置推定テクノロジーは、自律ナビゲーションや拡張現実のアプリケーションにとって重要ですが、事前に構築されたマップに依存することは多くの場合非現実的です。
マッチング方法の制限と単眼画像の固有のスケール不足により、大きな課題に直面しています。
これらの問題は、実際のシナリオでは、重大な回転エラーやメートルエラー、さらには位置特定の失敗につながります。
大きなマッチング エラーは、再局在化プロセス全体に大きな影響を与え、回転精度と並進精度の両方に影響を与えます。
カメラ自体の固有の制限により、変換誤差に大きな影響を与えるため、単一の画像からメートルスケールを復元することが重要です。
これらの課題に対処するために、インスタンスの知識と深さの知識によって強化されたマップフリーの再局在化手法を提案します。
インスタンスベースのマッチング情報を活用してグローバルなマッチング結果を向上させることで、この方法では、さまざまなオブジェクト間で不一致が発生する可能性が大幅に減少します。
シーン全体にわたるインスタンス知識の堅牢性により、特徴点マッチング モデルが関連領域に焦点を当て、マッチング精度を向上させることができます。
さらに、単一の画像から推定されたメトリック深度を使用して、メトリックエラーを削減し、スケール回復の精度を向上させます。
大きな並進誤差と回転誤差の軽減に特化した手法を統合することにより、私たちのアプローチはマップフリーの再位置推定技術において優れたパフォーマンスを実証します。

要約(オリジナル)

Map-free relocalization technology is crucial for applications in autonomous navigation and augmented reality, but relying on pre-built maps is often impractical. It faces significant challenges due to limitations in matching methods and the inherent lack of scale in monocular images. These issues lead to substantial rotational and metric errors and even localization failures in real-world scenarios. Large matching errors significantly impact the overall relocalization process, affecting both rotational and translational accuracy. Due to the inherent limitations of the camera itself, recovering the metric scale from a single image is crucial, as this significantly impacts the translation error. To address these challenges, we propose a map-free relocalization method enhanced by instance knowledge and depth knowledge. By leveraging instance-based matching information to improve global matching results, our method significantly reduces the possibility of mismatching across different objects. The robustness of instance knowledge across the scene helps the feature point matching model focus on relevant regions and enhance matching accuracy. Additionally, we use estimated metric depth from a single image to reduce metric errors and improve scale recovery accuracy. By integrating methods dedicated to mitigating large translational and rotational errors, our approach demonstrates superior performance in map-free relocalization techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google