PairingNet: A Learning-based Pair-searching and -matching Network for Image Fragments

要約

この論文では、困難な復元問題を解決するために、学習ベースの画像フラグメントのペア検索とマッチングのアプローチを提案します。
既存の研究では、類似の輪郭形状やテクスチャを一致させるためにルールベースの方法が使用されていますが、大量のデータに対してハイパーパラメータを調整するのは常に困難で、計算に時間がかかります。
そこで、輪郭形状情報を持つ隣接テクスチャを効果的に利用して根本的に性能を向上させるニューラルネットワークを提案します。
まず、グラフベースのネットワークを使用して、フラグメントの局所的な輪郭とテクスチャの特徴を抽出します。
次に、ペア検索タスクでは、線形変換器ベースのモジュールを採用してこれらのローカル特徴を統合し、対比損失を使用して各フラグメントのグローバル特徴をエンコードします。
ペアマッチングタスクでは、抽出された局所輪郭とテクスチャ特徴を動的に融合する重み付け融合モジュールを設計し、フラグメントの各ペアの類似度行列を定式化してマッチングスコアを計算し、隣接する輪郭セグメントを推測します。
提案したネットワークを忠実に評価するために、完全な画像を不規則なフラグメントに分割するように設計したアルゴリズムを通じて、新しい画像フラグメント データセットを作成しました。
実験結果は、私たちが提案したネットワークが優れたペア検索精度を達成し、マッチングエラーを減らし、計算時間を大幅に短縮することを示しています。
詳細、ソースコード、データは補足資料で入手できます。

要約(オリジナル)

In this paper, we propose a learning-based image fragment pair-searching and -matching approach to solve the challenging restoration problem. Existing works use rule-based methods to match similar contour shapes or textures, which are always difficult to tune hyperparameters for extensive data and computationally time-consuming. Therefore, we propose a neural network that can effectively utilize neighbor textures with contour shape information to fundamentally improve performance. First, we employ a graph-based network to extract the local contour and texture features of fragments. Then, for the pair-searching task, we adopt a linear transformer-based module to integrate these local features and use contrastive loss to encode the global features of each fragment. For the pair-matching task, we design a weighted fusion module to dynamically fuse extracted local contour and texture features, and formulate a similarity matrix for each pair of fragments to calculate the matching score and infer the adjacent segment of contours. To faithfully evaluate our proposed network, we created a new image fragment dataset through an algorithm we designed that tears complete images into irregular fragments. The experimental results show that our proposed network achieves excellent pair-searching accuracy, reduces matching errors, and significantly reduces computational time. Details, sourcecode, and data are available in our supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google