Image Matching by Bare Homography

要約

この論文では、シーンを粗い局所的な重なり合う平面としてモデル化する、新しい非ディープ画像マッチング フレームワークである Slime を紹介します。
この中間表現は、キーポイント パッチのローカル アフィン近似と、空間制約と類似性制約の両方に基づくグローバル マッチングの間に位置し、一般的なシーンに関しては平面の方が扱いやすいため、対応関係の漸進的な枝刈りを実現します。
Slime は、画像をさまざまなスケールで重複する領域に分解し、緩やかな平面ホモグラフィーを計算します。
平面は互換性のある一致によって相互に拡張され、画像は固定タイルに分割され、タイルの各ペアで最良のホモグラフィーのみが保持されます。
安定した一致は、ペアワイズホモグラフィーによって提供される許容可能なステレオ構成のコンセンサスに従って識別されます。
次に、タイル内で、一致の点での重複に応じて大まかな平面がマージされ、さらに一貫した対応関係が抽出されます。
プロセス全体にはホモグラフィー制約のみが含まれます。
その結果、シーン全体での正しい一致のカバレッジと安定性の両方が強化され、困難なシーンで一致を特定する機能も強化され、従来のハイブリッド マッチング パイプラインが最近のエンドツーエンドのディープ マッチング手法に対して失われた地盤を補うことが可能になります。
。
さらに、この論文では、エンドツーエンドのディープ ネットワークとハイブリッド パイプラインに代表される画像マッチングにおける最近の最先端技術の徹底的な比較分析を提供します。
評価では、突然の時間的な画像の変化や相対的な画像の回転の大きな変動など、重要かつ困難なシナリオを考慮して、平面シーンと非平面シーンの両方が考慮されます。
この分析によると、この分野では目覚ましい進歩が見られましたが、将来の研究で調査される改善の余地はまだ広いです。

要約(オリジナル)

This paper presents Slime, a novel non-deep image matching framework which models the scene as rough local overlapping planes. This intermediate representation sits in-between the local affine approximation of the keypoint patches and the global matching based on both spatial and similarity constraints, providing a progressive pruning of the correspondences, as planes are easier to handle with respect to general scenes. Slime decomposes the images into overlapping regions at different scales and computes loose planar homographies. Planes are mutually extended by compatible matches and the images are split into fixed tiles, with only the best homographies retained for each pair of tiles. Stable matches are identified according to the consensus of the admissible stereo configurations provided by pairwise homographies. Within tiles, the rough planes are then merged according to their overlap in terms of matches and further consistent correspondences are extracted. The whole process only involves homography constraints. As a result, both the coverage and the stability of correct matches over the scene are amplified, together with the ability to spot matches in challenging scenes, allowing traditional hybrid matching pipelines to make up lost ground against recent end-to-end deep matching methods. In addition, the paper gives a thorough comparative analysis of recent state-of-the-art in image matching represented by end-to-end deep networks and hybrid pipelines. The evaluation considers both planar and non-planar scenes, taking into account critical and challenging scenarios including abrupt temporal image changes and strong variations in relative image rotations. According to this analysis, although the impressive progress done in this field, there is still a wide room for improvements to be investigated in future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google