Searching from Area to Point: A Hierarchical Framework for Semantic-Geometric Combined Feature Matching

要約

タイトル： Semantic-Geometric組み合わせ特徴量マッチングのための階層的フレームワーク：エリアからポイントへの検索

要約：

– 特徴マッチングは、コンピュータビジョンにおける重要な技術の1つである。
– 本論文は、画像間の対応を確立するための探索問題と見なすことができる。しかしながら、現在の方法における不正確なポイントマッチングにつながる、明確に定義された検索空間の欠如が、この課題の主な課題である。
– 合理的なマッチング検索空間を求めるために、本論文は、エリアからポイントマッチング（A2PM）という階層的な特徴マッチングフレームワークを紹介する。このフレームワークは、まず、画像間の意味的なエリアの一致を見つけ、その後、エリアの一致における顕著な特徴を使って、エリアの一致におけるポイントマッチングを行うことで、検索空間をエリアの一致に設定し、高いマッチング精度を達成する。
– このA2PMフレームワークの適切な検索空間は、最新のTransformerベースのマッチング方法における精度制限を軽減する。このフレームワークを実現するために、我々はSemantic and Geometry Area Matching（SGAM）手法を提案する。SGAMは、意味的先行性と幾何学的一貫性を活用して、画像間の正確なエリアマッチを確立する。
– SGAMをオフシェルフのTransformerベースのマッチング手法に統合することにより、A2PMフレームワークを採用した特徴量マッチング手法において、現在の芸術作品における大規模なポイントマッチングと姿勢推定の実験において、示唆的な精度向上を達成する。

要約(オリジナル)

Feature matching is a crucial technique in computer vision. Essentially, it can be considered as a searching problem to establish correspondences between images. The key challenge in this task lies in the lack of a well-defined search space, leading to inaccurate point matching of current methods. In pursuit of a reasonable matching search space, this paper introduces a hierarchical feature matching framework: Area to Point Matching (A2PM), to first find semantic area matches between images, and then perform point matching on area matches, thus setting the search space as the area matches with salient features to achieve high matching precision. This proper search space of A2PM framework also alleviates the accuracy limitation in state-of-the-art Transformer-based matching methods. To realize this framework, we further propose Semantic and Geometry Area Matching (SGAM) method, which utilizes semantic prior and geometry consistency to establish accurate area matches between images. By integrating SGAM with off-the-shelf Transformer-based matchers, our feature matching methods, adopting the A2PM framework, achieve encouraging precision improvements in massive point matching and pose estimation experiments for present arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI