LiftFeat: 3D Geometry-Aware Local Feature Matching

要約

堅牢で効率的なローカル機能マッチングは、スラムやロボット工学の視覚的ローカリゼーションなどのアプリケーションで重要な役割を果たします。
大きな進歩にもかかわらず、劇的な照明の変化、低テクスチャ領域、または反復パターンを備えたシナリオで堅牢で識別的な視覚的特徴を抽出することは依然として非常に困難です。
この論文では、3D幾何学的特徴を集約することにより、生記述子の堅牢性を持ち上げる\ TextIT {LiftFeat}と呼ばれる新しい軽量ネットワークを提案します。
具体的には、最初に事前に訓練された単眼深度推定モデルを採用して、擬似表面正常ラベルを生成し、予測される表面正常の観点から3D幾何学的特徴の抽出を監督します。
次に、3Dジオメトリアウェア機能リフティングモジュールを設計して、RAW 2D記述子機能と表面正常機能を融合します。
このような3D幾何学的特徴を統合すると、極端な条件での2D機能の説明の識別能力が向上します。
相対的なポーズ推定、ホモグラフィーの推定、視覚的ローカリゼーションのタスクに関する広範な実験結果は、私たちのリフトフィートが軽量の最先端の方法を上回ることを示しています。
コードはhttps://github.com/lyp-deeplearning/liftfeatでリリースされます。

要約(オリジナル)

Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called \textit{LiftFeat}, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google