GlueStick: Robust Image Matching by Sticking Points and Lines Together

要約

線分は、点を補完する強力な機能です。
それらは構造的な手がかりを提供し、視点や照明の急激な変化に対して堅牢であり、テクスチャのない領域にも存在できます。
ただし、それらを記述して一致させることは、部分的なオクルージョン、テクスチャの欠如、または繰り返しのため、ポイントに比べてより困難です。
この論文では、点、線、およびそれらの記述子が単一のワイヤーフレーム構造に統合される、新しいマッチング パラダイムを紹介します。
私たちは、異なる画像から 2 つのワイヤーフレームを取得し、ノード間の接続情報を活用してそれらをより適切に結合するディープ マッチング グラフ ニューラル ネットワーク (GNN) である GlueStick を提案します。
結合マッチングによってもたらされる効率の向上に加えて、単一のアーキテクチャでこれら 2 つの機能の補完的な性質を活用すると、パフォーマンスが大幅に向上することも実証しました。
私たちのマッチング戦略は、さまざまなデータセットやタスクに対して線分と点を個別にマッチングする最先端のアプローチよりも優れていることを示します。
コードは https://github.com/cvg/GlueStick で入手できます。

要約(オリジナル)

Line segments are powerful features complementary to points. They offer structural cues, robust to drastic viewpoint and illumination changes, and can be present even in texture-less areas. However, describing and matching them is more challenging compared to points due to partial occlusions, lack of texture, or repetitiveness. This paper introduces a new matching paradigm, where points, lines, and their descriptors are unified into a single wireframe structure. We propose GlueStick, a deep matching Graph Neural Network (GNN) that takes two wireframes from different images and leverages the connectivity information between nodes to better glue them together. In addition to the increased efficiency brought by the joint matching, we also demonstrate a large boost of performance when leveraging the complementary nature of these two features in a single architecture. We show that our matching strategy outperforms the state-of-the-art approaches independently matching line segments and points for a wide variety of datasets and tasks. The code is available at https://github.com/cvg/GlueStick.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google