Image Matching by Bare Homography

要約

本論文では、シーンを大まかな局所的重複平面としてモデル化する、新しい非ディープ画像マッチングフレームワークであるSlimeを紹介する。この中間表現は、キーポイントパッチの局所的アフィン近似と、空間制約と類似度制約の両方に基づく大域的マッチングの中間に位置し、一般的なシーンに関しては平面の方が扱いやすいため、対応関係の漸進的刈り込みを提供する。 Slimeは画像を異なるスケールで重複する領域に分解し、緩やかな平面ホモグラフを計算する。平面は適合するマッチによって相互に拡張され、画像は固定されたタイルに分割され、各タイルのペアについて最良のホモグラフのみが保持される。安定したマッチは、ペアワイズホモグラフから得られる許容されるステレオ構成のコンセンサスに従って同定される。タイル内では、ラフプレーンはマッチの重なりに従ってマージされ、さらに一貫した対応関係が抽出される。 全プロセスはホモグラフィ制約のみを含む。その結果、シーン全体における正しいマッチングのカバー率と安定性の両方が向上し、困難なシーンでもマッチングを発見できるようになり、従来のハイブリッドマッチングパイプラインが、最近のエンドツーエンドのディープマッチング手法に対して失地を挽回できるようになる。 さらに、この論文では、エンドツーエンドのディープネットワークとハイブリッドパイプラインに代表される画像マッチングにおける最近の最先端技術の徹底的な比較分析を行っている。この評価では、突然の時間的な画像変化や相対的な画像回転の強い変動など、重要で困難なシナリオを考慮し、平面と非平面の両方のシーンを考慮する。この分析によると、この分野での目覚ましい進歩にもかかわらず、将来の研究で調査されるべき改善の余地はまだ広い。

要約(オリジナル)

This paper presents Slime, a novel non-deep image matching framework which models the scene as rough local overlapping planes. This intermediate representation sits in-between the local affine approximation of the keypoint patches and the global matching based on both spatial and similarity constraints, providing a progressive pruning of the correspondences, as planes are easier to handle with respect to general scenes. Slime decomposes the images into overlapping regions at different scales and computes loose planar homographies. Planes are mutually extended by compatible matches and the images are split into fixed tiles, with only the best homographies retained for each pair of tiles. Stable matches are identified according to the consensus of the admissible stereo configurations provided by pairwise homographies. Within tiles, the rough planes are then merged according to their overlap in terms of matches and further consistent correspondences are extracted. The whole process only involves homography constraints. As a result, both the coverage and the stability of correct matches over the scene are amplified, together with the ability to spot matches in challenging scenes, allowing traditional hybrid matching pipelines to make up lost ground against recent end-to-end deep matching methods. In addition, the paper gives a thorough comparative analysis of recent state-of-the-art in image matching represented by end-to-end deep networks and hybrid pipelines. The evaluation considers both planar and non-planar scenes, taking into account critical and challenging scenarios including abrupt temporal image changes and strong variations in relative image rotations. According to this analysis, although the impressive progress done in this field, there is still a wide room for improvements to be investigated in future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL