Are Semi-Dense Detector-Free Methods Good at Matching Local Features?

要約

LoFTR などの準高密度検出器を使用しないアプローチ (SDF) は、現在最も一般的な画像マッチング手法の 1 つです。
SDF メソッドは 2 つの画像間の対応関係を確立するようにトレーニングされていますが、そのパフォーマンスはほぼ排他的に相対姿勢推定メトリックを使用して評価されます。
したがって、対応関係を確立する能力と、結果として得られる推定姿勢の品質との間の関連性は、これまでほとんど注目されてこなかった。
この論文は、この関連性を研究する最初の試みです。
私たちは、新しい構造化された注意ベースの画像マッチング アーキテクチャ (SAM) を提案することから始めます。
これにより、2 つのデータセット (MegaDepth と HPatches) で直観に反する結果を示すことができます。一方で、SAM は姿勢/ホモグラフィー推定メトリクスの点で SDF 手法を上回るか同等のパフォーマンスを示しますが、他方では SDF アプローチは
マッチング精度の点では SAM よりも大幅に優れています。
次に、マッチング精度の計算をテクスチャ領域に限定することを提案し、この場合、SAM が SDF 手法を上回ることが多いことを示します。
私たちの発見は、テクスチャ領域で正確な対応を確立する能力と、結果として推定される姿勢/ホモグラフィーの精度との間に強い相関があることを強調しています。
私たちのコードが利用可能になります。

要約(オリジナル)

Semi-dense detector-free approaches (SDF), such as LoFTR, are currently among the most popular image matching methods. While SDF methods are trained to establish correspondences between two images, their performances are almost exclusively evaluated using relative pose estimation metrics. Thus, the link between their ability to establish correspondences and the quality of the resulting estimated pose has thus far received little attention. This paper is a first attempt to study this link. We start with proposing a novel structured attention-based image matching architecture (SAM). It allows us to show a counter-intuitive result on two datasets (MegaDepth and HPatches): on the one hand SAM either outperforms or is on par with SDF methods in terms of pose/homography estimation metrics, but on the other hand SDF approaches are significantly better than SAM in terms of matching accuracy. We then propose to limit the computation of the matching accuracy to textured regions, and show that in this case SAM often surpasses SDF methods. Our findings highlight a strong correlation between the ability to establish accurate correspondences in textured regions and the accuracy of the resulting estimated pose/homography. Our code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google