Interactive Feature Embedding for Infrared and Visible Image Fusion

要約

赤外線画像と可視画像の融合のための一般的な深層学習ベースの手法は、精巧に設計された損失関数を利用することで、重要な情報を保持する教師なしメカニズムに依存しています。しかし、教師なしメカニズムは、うまく設計された損失関数に依存し、ソース画像のすべての重要な情報が十分に抽出されることを保証することはできない。本研究では、赤外画像と可視画像の融合のための自己教師付き学習フレームワークにおける新しい対話的特徴埋め込みを提案し、重要な情報の劣化の問題を克服しようと試みる。自己教師付き学習の枠組みを用いることで、元画像の階層的な表現を効率的に抽出することができる。特に、自己教師付き学習と赤外線・可視画像融合学習の橋渡しをするために、対話的な特徴埋め込みモデルを巧みに設計し、重要な情報の保持を実現する。定性的・定量的な評価により、提案手法は最先端の手法に対して良好な性能を発揮することが示された。

要約(オリジナル)

General deep learning-based methods for infrared and visible image fusion rely on the unsupervised mechanism for vital information retention by utilizing elaborately designed loss functions. However, the unsupervised mechanism depends on a well designed loss function, which cannot guarantee that all vital information of source images is sufficiently extracted. In this work, we propose a novel interactive feature embedding in self-supervised learning framework for infrared and visible image fusion, attempting to overcome the issue of vital information degradation. With the help of self-supervised learning framework, hierarchical representations of source images can be efficiently extracted. In particular, interactive feature embedding models are tactfully designed to build a bridge between the self-supervised learning and infrared and visible image fusion learning, achieving vital information retention. Qualitative and quantitative evaluations exhibit that the proposed method performs favorably against state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL