Searching from Area to Point: A Hierarchical Framework for Semantic-Geometric Combined Feature Matching

要約

タイトル：Semantic-Geometric Combined Feature Matchingのための階層的フレームワーク：“領域からポイントへの検索”

要約：
– Feature matchingは、コンピュータビジョンにおいて重要な技術である。
– このタスクにおける主要な問題は、十分に定義された検索空間の欠如にあるため、現在の方法では不正確なポイントマッチングが発生する。
– この論文では、領域からポイントのマッチングを行うための階層的フレームワーク：Area to Point Matching（A2PM）を提案する。
– このフレームワークは、最初に画像間の意味的な領域マッチングを行い、その後、領域マッチングにおいて目立つ特徴を持つ領域においてポイントマッチングを行うことで、正確なマッチング検索空間を設定する。
– さらに、本研究では、Semantic and Geometry Area Matching（SGAM）メソッドを提案し、意味的先行事項と幾何学的一貫性を活用して画像間の正確な領域マッチングを確立する。
– SGAMを既存のTransformer-based matchersに統合することで、A2PMフレームワークを採用した特徴マッチング方法は、大規模なポイントマッチングと姿勢推定実験において、高いマッチング精度を達成する。

要約(オリジナル)

Feature matching is a crucial technique in computer vision. Essentially, it can be considered as a searching problem to establish correspondences between images. The key challenge in this task lies in the lack of a well-defined search space, leading to inaccurate point matching of current methods. In pursuit of a reasonable matching search space, this paper introduces a hierarchical feature matching framework: Area to Point Matching (A2PM), to first find semantic area matches between images, and then perform point matching on area matches, thus setting the search space as the area matches with salient features to achieve high matching precision. This proper search space of A2PM framework also alleviates the accuracy limitation in state-of-the-art Transformer-based matching methods. To realize this framework, we further propose Semantic and Geometry Area Matching (SGAM) method, which utilizes semantic prior and geometry consistency to establish accurate area matches between images. By integrating SGAM with off-the-shelf Transformer-based matchers, our feature matching methods, adopting the A2PM framework, achieve encouraging precision improvements in massive point matching and pose estimation experiments for present arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI