IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network

要約

赤外線と可視画像の融合 (IVIF) を使用して、両方の画像の包括的な特徴を備えた融合画像を生成します。これは、下流の視覚タスクに有益です。
しかし、現在の手法では、低照度環境での照明条件がほとんど考慮されておらず、融合画像内のターゲットが目立たないことがよくあります。
上記の問題に対処するために、私たちは IAIFNet と呼ばれる照明対応赤外線および可視画像融合ネットワークを提案します。
私たちのフレームワークでは、照明強化ネットワークが最初に入力画像の入射照明マップを推定します。
その後、提案された適応型差分融合モジュール (ADFM) と顕著なターゲット認識モジュール (STAM) の助けを借りて、画像融合ネットワークは、照明強化された赤外線画像と可視画像の顕著な特徴を高品質の融合画像に効果的に統合します。
広範な実験結果により、私たちの方法が赤外線画像と可視画像を融合する 5 つの最先端の方法よりも優れていることが証明されています。

要約(オリジナル)

Infrared and visible image fusion (IVIF) is used to generate fusion images with comprehensive features of both images, which is beneficial for downstream vision tasks. However, current methods rarely consider the illumination condition in low-light environments, and the targets in the fused images are often not prominent. To address the above issues, we propose an Illumination-Aware Infrared and Visible Image Fusion Network, named as IAIFNet. In our framework, an illumination enhancement network first estimates the incident illumination maps of input images. Afterwards, with the help of proposed adaptive differential fusion module (ADFM) and salient target aware module (STAM), an image fusion network effectively integrates the salient features of the illumination-enhanced infrared and visible images into a fusion image of high visual quality. Extensive experimental results verify that our method outperforms five state-of-the-art methods of fusing infrared and visible images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google