Relational Representation Learning Network for Cross-Spectral Image Patch Matching

要約

最近、特徴関係学習は、クロススペクトル画像パッチマッチングにおいて広く注目を集めています。
しかし、既存の関連研究は、画像パッチの特徴間の多様な関係を抽出することに焦点を当てており、個々の画像パッチの十分な固有の特徴表現を無視しています。
したがって、個々の画像パッチの固有の特徴と画像パッチの特徴間の関係を十分にマイニングすることに同時に焦点を当てた、革新的な関係表現学習のアイデアが初めて提案されます。
これに基づいて、軽量のリレーショナル表現学習ネットワーク (RRL-Net) を構築します。
具体的には、個々の固有の特徴を完全に特徴付けるオートエンコーダーを革新的に構築し、深いレベルの特徴関係を抽出する特徴インタラクション学習 (FIL) モジュールを導入します。
個々の固有の特徴をさらに完全にマイニングするために、軽量の多次元グローバル対ローカル アテンション (MGLA) モジュールが構築され、個々の画像パッチのグローバル特徴抽出を強化し、グローバル特徴内のローカル依存関係をキャプチャします。
MGLA モジュールを組み合わせることで、特徴抽出ネットワークをさらに調査し、注意ベースの軽量特徴抽出 (ALFE) ネットワークを構築します。
さらに、パラメータと推論時間の増加を回避しながらネットワークの最適化を大幅に促進する、Multi-Loss Post-Pruning (MLPP) 最適化戦略を提案します。
広範な実験により、RRL-Net が複数の公開データセットで最先端 (SOTA) パフォーマンスを達成することが実証されました。
私たちのコードは後で公開されます。

要約(オリジナル)

Recently, feature relation learning has drawn widespread attention in cross-spectral image patch matching. However, existing related research focuses on extracting diverse relations between image patch features and ignores sufficient intrinsic feature representations of individual image patches. Therefore, an innovative relational representation learning idea is proposed for the first time, which simultaneously focuses on sufficiently mining the intrinsic features of individual image patches and the relations between image patch features. Based on this, we construct a lightweight Relational Representation Learning Network (RRL-Net). Specifically, we innovatively construct an autoencoder to fully characterize the individual intrinsic features, and introduce a Feature Interaction Learning (FIL) module to extract deep-level feature relations. To further fully mine individual intrinsic features, a lightweight Multi-dimensional Global-to-Local Attention (MGLA) module is constructed to enhance the global feature extraction of individual image patches and capture local dependencies within global features. By combining the MGLA module, we further explore the feature extraction network and construct an Attention-based Lightweight Feature Extraction (ALFE) network. In addition, we propose a Multi-Loss Post-Pruning (MLPP) optimization strategy, which greatly promotes network optimization while avoiding increases in parameters and inference time. Extensive experiments demonstrate that our RRL-Net achieves state-of-the-art (SOTA) performance on multiple public datasets. Our code will be made public later.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google