Learning to Produce Semi-dense Correspondences for Visual Localization

要約

この研究では、夜間のシナリオ、悪天候、季節の変化などの厳しい条件下で視覚的位置特定を実行するという課題に取り組んでいます。
これまでの研究の多くは、画像間の信頼性の高い高密度キーポイント マッチングを促進するために画像マッチングのパフォーマンスを向上させることに焦点を当ててきましたが、既存の手法は再構成された 3D モデル上の事前定義された特徴点に大きく依存することがよくあります。
その結果、照合プロセス中に観察されていないキーポイントを見落とす傾向があります。
したがって、密集したキーポイントの一致は十分に活用されず、特にノイズの多いシーンでは精度が著しく低下します。
この問題に取り組むために、我々は、密なキーポイントの一致に基づいて信頼性の高い半密な 2D-3D マッチング ポイントを抽出する新しい位置特定方法を提案します。
このアプローチには、点推論ネットワークを使用して半密 2D キーポイントを 3D シーン座標に回帰することが含まれます。
このネットワークは、幾何学的な手がかりと視覚的な手がかりの両方を利用して、観測されたキーポイントから未観測のキーポイントの 3D 座標を効果的に推測します。
豊富な一致情報により、ノイズの多い、またはまばらな 3D モデルが含まれるシナリオでも、カメラの姿勢推定の精度が大幅に向上します。
包括的な評価により、提案された方法が困難なシーンで他の方法を上回り、大規模な視覚的位置推定ベンチマークで競合する結果を達成できることが実証されました。
コードが利用可能になります。

要約(オリジナル)

This study addresses the challenge of performing visual localization in demanding conditions such as night-time scenarios, adverse weather, and seasonal changes. While many prior studies have focused on improving image-matching performance to facilitate reliable dense keypoint matching between images, existing methods often heavily rely on predefined feature points on a reconstructed 3D model. Consequently, they tend to overlook unobserved keypoints during the matching process. Therefore, dense keypoint matches are not fully exploited, leading to a notable reduction in accuracy, particularly in noisy scenes. To tackle this issue, we propose a novel localization method that extracts reliable semi-dense 2D-3D matching points based on dense keypoint matches. This approach involves regressing semi-dense 2D keypoints into 3D scene coordinates using a point inference network. The network utilizes both geometric and visual cues to effectively infer 3D coordinates for unobserved keypoints from the observed ones. The abundance of matching information significantly enhances the accuracy of camera pose estimation, even in scenarios involving noisy or sparse 3D models. Comprehensive evaluations demonstrate that the proposed method outperforms other methods in challenging scenes and achieves competitive results in large-scale visual localization benchmarks. The code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google