PATS: Patch Area Transportation with Subdivision for Local Feature Matching

要約

局所特徴マッチングは、一対の画像間にまばらな対応関係を確立することを目的としています。
最近では、検出器を使用しない方法は一般に優れたパフォーマンスを示しますが、スケールの差が大きい画像ペアでは満足のいくものではありません。
本稿では、この問題に取り組むために、サブディビジョンによるパッチエリア輸送（PATS）を提案します。
高価な画像ピラミッドを構築する代わりに、元の画像のペアを同じサイズのパッチに分割し、徐々にサイズを変更して同じスケールの小さなパッチに細分化することから始めます。
ただし、スケール差は相対的なカメラのポーズとシーン構造の両方によって決定され、画像ペア全体で空間的に変化するため、これらのパッチ間のスケール差を推定することは簡単ではありません。
さらに、実際のシーンのグラウンド トゥルースを取得することは困難です。
この目的を達成するために、自己教師ありの方法でスケールの違いを学習できるパッチ領域輸送を提案します。
1 対 1 のマッチングのみを処理する 2 部グラフ マッチングとは対照的に、パッチ エリアのトランスポートは多対多の関係を処理できます。
PATS は、マッチング精度とカバレッジの両方を向上させ、相対姿勢推定、視覚的位置推定、オプティカル フロー推定などの下流タスクで優れたパフォーマンスを示します。
ソース コードは \url{https://zju3dv.github.io/pats/} で入手できます。

要約(オリジナル)

Local feature matching aims at establishing sparse correspondences between a pair of images. Recently, detector-free methods present generally better performance but are not satisfactory in image pairs with large scale differences. In this paper, we propose Patch Area Transportation with Subdivision (PATS) to tackle this issue. Instead of building an expensive image pyramid, we start by splitting the original image pair into equal-sized patches and gradually resizing and subdividing them into smaller patches with the same scale. However, estimating scale differences between these patches is non-trivial since the scale differences are determined by both relative camera poses and scene structures, and thus spatially varying over image pairs. Moreover, it is hard to obtain the ground truth for real scenes. To this end, we propose patch area transportation, which enables learning scale differences in a self-supervised manner. In contrast to bipartite graph matching, which only handles one-to-one matching, our patch area transportation can deal with many-to-many relationships. PATS improves both matching accuracy and coverage, and shows superior performance in downstream tasks, such as relative pose estimation, visual localization, and optical flow estimation. The source code is available at \url{https://zju3dv.github.io/pats/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google