AMatFormer: Efficient Feature Matching via Anchor Matching Transformer

要約

学習ベースの特徴マッチング手法は、近年よく研究されています。
特徴マッチングを学習するための中心的な問題は、(1) 各画像内の特徴点 (または領域) の識別表現と、(2) 画像間の特徴点のコンセンサス表現をどのように学習するかです。
最近、この問題に対処するために、自己注意モデルと相互注意モデルが活用されています。
ただし、多くのシーンでは、機能が大規模で冗長で異常値が汚染されています。
以前のセルフ/クロスアテンション モデルは一般に、すべての主要な特徴でメッセージ パッシングを実行するため、冗長な学習と高い計算コストが発生します。
制限を軽減するために、最近のシード マッチング手法に触発されて、この論文では、特徴マッチング問題に対する新しい効率的なアンカー マッチング トランスフォーマー (AMatFormer) を提案します。
AMatFormer には 2 つの主要な側面があります。まず、主にいくつかのアンカー特徴に対して自己/相互注意を実行し、これらのアンカー特徴をメッセージ ボトルネックとして利用して、すべての主要な特徴の表現を学習します。
したがって、効率的かつコンパクトに実装することができます。
第 2 に、AMatFormer は共有 FFN モジュールを採用して、2 つの画像の特徴を共通領域にさらに埋め込み、マッチング問題のコンセンサス特徴表現を学習します。
いくつかのベンチマークの実験により、提案された AMatFormer マッチング アプローチの有効性と効率性が実証されています。

要約(オリジナル)

Learning based feature matching methods have been commonly studied in recent years. The core issue for learning feature matching is to how to learn (1) discriminative representations for feature points (or regions) within each intra-image and (2) consensus representations for feature points across inter-images. Recently, self- and cross-attention models have been exploited to address this issue. However, in many scenes, features are coming with large-scale, redundant and outliers contaminated. Previous self-/cross-attention models generally conduct message passing on all primal features which thus lead to redundant learning and high computational cost. To mitigate limitations, inspired by recent seed matching methods, in this paper, we propose a novel efficient Anchor Matching Transformer (AMatFormer) for the feature matching problem. AMatFormer has two main aspects: First, it mainly conducts self-/cross-attention on some anchor features and leverages these anchor features as message bottleneck to learn the representations for all primal features. Thus, it can be implemented efficiently and compactly. Second, AMatFormer adopts a shared FFN module to further embed the features of two images into the common domain and thus learn the consensus feature representations for the matching problem. Experiments on several benchmarks demonstrate the effectiveness and efficiency of the proposed AMatFormer matching approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google