Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

要約

我々は、画像全体で準密な一致を効率的に生成するための新しい方法を提案します。
以前の検出器不要のマッチャー LoFTR は、大きな視点変更やテクスチャの乏しいシナリオの処理において顕著なマッチング能力を示しましたが、効率が低いという欠点がありました。
私たちはその設計の選択を再考し、効率と精度の両方に関して複数の改善を導き出しました。
重要な観察の 1 つは、ローカル情報が共有されるため、特徴マップ全体に対して変換を実行するのは冗長であるということです。そのため、効率を高めるために適応トークン選択を備えた集約されたアテンション メカニズムを提案します。
さらに、LoFTR の微相関モジュールには空間的な分散が存在し、マッチング精度に悪影響を与えることがわかりました。
精度を向上させるために正確なサブピクセルの対応を実現するために、新しい 2 段階の相関層が提案されています。
当社の効率最適化モデルは、LoFTR より $\sim 2.5\times$ 高速で、最先端の効率的なスパース マッチング パイプライン SuperPoint + LightGlue をも上回る可能性があります。
さらに、広範な実験により、私たちの方法が競合するセミデンスマッチャーと比較してより高い精度を達成でき、効率が大幅に向上することが示されています。
これにより、画像検索や 3D 再構成などの大規模なアプリケーションや遅延に敏感なアプリケーションに刺激的な展望が開かれます。
プロジェクトページ: https://zju3dv.github.io/efficientloftr

要約(オリジナル)

We present a novel method for efficiently producing semi-dense matches across images. Previous detector-free matcher LoFTR has shown remarkable matching capability in handling large-viewpoint change and texture-poor scenarios but suffers from low efficiency. We revisit its design choices and derive multiple improvements for both efficiency and accuracy. One key observation is that performing the transformer over the entire feature map is redundant due to shared local information, therefore we propose an aggregated attention mechanism with adaptive token selection for efficiency. Furthermore, we find spatial variance exists in LoFTR’s fine correlation module, which is adverse to matching accuracy. A novel two-stage correlation layer is proposed to achieve accurate subpixel correspondences for accuracy improvement. Our efficiency optimized model is $\sim 2.5\times$ faster than LoFTR which can even surpass state-of-the-art efficient sparse matching pipeline SuperPoint + LightGlue. Moreover, extensive experiments show that our method can achieve higher accuracy compared with competitive semi-dense matchers, with considerable efficiency benefits. This opens up exciting prospects for large-scale or latency-sensitive applications such as image retrieval and 3D reconstruction. Project page: https://zju3dv.github.io/efficientloftr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google