ResMatch: Residual Attention Learning for Local Feature Matching

要約

注意ベースのグラフ ニューラル ネットワークは、特徴マッチング学習において大きな進歩を遂げました。
しかし、特徴マッチングにおいて注意メカニズムがどのように機能するかについての洞察は文献に欠けています。
この論文では、従来の特徴マッチングとフィルタリングの観点からクロスアテンションとセルフアテンションを再考します。
マッチングとフィルタリングの学習を容易にするために、記述子の類似性と相対位置をクロス アテンション スコアとセルフ アテンション スコアにそれぞれ注入します。
このようにして、視覚的および空間的相関を測定する基本機能を参照して、残差マッチングおよびフィルタリング関数の学習に集中することができます。
さらに、記述子の類似性と相対的な位置に従って、近隣内および近隣間をマイニングします。
次に、各点に対するまばらな注意をその近傍内でのみ実行して、より高い計算効率を得ることができます。
完全およびスパース残留注意学習戦略を備えた特徴マッチング ネットワークは、それぞれ ResMatch および sResMatch と呼ばれます。
特徴マッチング、姿勢推定、視覚的位置特定を含む広範な実験により、当社のネットワークの優位性が確認されました。

要約(オリジナル)

Attention-based graph neural networks have made great progress in feature matching learning. However, insight of how attention mechanism works for feature matching is lacked in the literature. In this paper, we rethink cross- and self-attention from the viewpoint of traditional feature matching and filtering. In order to facilitate the learning of matching and filtering, we inject the similarity of descriptors and relative positions into cross- and self-attention score, respectively. In this way, the attention can focus on learning residual matching and filtering functions with reference to the basic functions of measuring visual and spatial correlation. Moreover, we mine intra- and inter-neighbors according to the similarity of descriptors and relative positions. Then sparse attention for each point can be performed only within its neighborhoods to acquire higher computation efficiency. Feature matching networks equipped with our full and sparse residual attention learning strategies are termed ResMatch and sResMatch respectively. Extensive experiments, including feature matching, pose estimation and visual localization, confirm the superiority of our networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google