Image Matching Filtering and Refinement by Planes and Beyond

要約

この論文では、画像マッチングにおける疎な対応をフィルタリングおよび洗練するためのモジュール式の非深層学習手法を紹介します。
シーン内のモーション フローがローカル ホモグラフィー変換によって近似できると仮定すると、反復的な RANSAC ベースのアプローチを使用して、一致は仮想平面に対応する重複するクラスターに集約され、不適合な対応は破棄されます。
さらに、基礎となる平面構造設計により、一致に関連付けられたローカル パッチ間の明示的なマップが提供され、パッチ再投影後の相互相関テンプレート マッチングによるキーポイント位置のオプションの微調整が可能になります。
最後に、区分的平面近似の仮定の違反に対するロバスト性とフォールトトレランスを強化するために、両方のパッチを共通の平面に投影する中間ホモグラフィーを導入することによって、平面再投影における相対的なパッチの歪みを最小限に抑えるためのさらなる戦略が設計されています。
提案された方法は、標準的なデータセットと画像マッチング パイプラインで広範囲に評価され、最先端のアプローチと比較されます。
現在の他の比較とは異なり、提案されたベンチマークでは、カメラの組み込み機能が利用できない、より一般的で現実的かつ実用的なケースも考慮されています。
実験結果は、私たちが提案する非深層学習の幾何学ベースのアプローチが、最近の最先端の深層学習手法よりも優れた、または同等のパフォーマンスを達成することを示しています。
最後に、この研究は、検討されている研究方向における実際の画像マッチング ソリューションにはまだ開発の可能性があり、将来的には新しいディープ画像マッチング アーキテクチャに組み込まれる可能性があることを示唆しています。

要約(オリジナル)

This paper introduces a modular, non-deep learning method for filtering and refining sparse correspondences in image matching. Assuming that motion flow within the scene can be approximated by local homography transformations, matches are aggregated into overlapping clusters corresponding to virtual planes using an iterative RANSAC-based approach, with non-conforming correspondences discarded. Moreover, the underlying planar structural design provides an explicit map between local patches associated with the matches, enabling optional refinement of keypoint positions through cross-correlation template matching after patch reprojection. Finally, to enhance robustness and fault-tolerance against violations of the piece-wise planar approximation assumption, a further strategy is designed for minimizing relative patch distortion in the plane reprojection by introducing an intermediate homography that projects both patches into a common plane. The proposed method is extensively evaluated on standard datasets and image matching pipelines, and compared with state-of-the-art approaches. Unlike other current comparisons, the proposed benchmark also takes into account the more general, real, and practical cases where camera intrinsics are unavailable. Experimental results demonstrate that our proposed non-deep learning, geometry-based approach achieves performances that are either superior to or on par with recent state-of-the-art deep learning methods. Finally, this study suggests that there are still development potential in actual image matching solutions in the considered research direction, which could be in the future incorporated in novel deep image matching architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google