An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion

要約

GAN ベースの赤外線および可視画像融合方法は、その有効性と優位性によりますます注目を集めています。
ただし、既存の方法は、ソース画像のグローバルなピクセル分布を識別の基礎として採用しており、主要なモダリティ情報に焦点を当てることができません。
さらに、二重弁別器に基づく方法は、弁別器間の対立に悩まされる。
この目的のために、赤外画像と可視画像の融合 (AWFGAN) のための注意誘導型ウェーブレット制約付き GAN を提案します。
この方法では、融合性能を向上させるために 2 つの独自の識別戦略が設計されています。
具体的には、空間アテンション モジュール (SAM) をジェネレーターに導入して空間アテンション マップを取得し、アテンション マップを利用して赤外線画像の識別を強制的にターゲット領域に集中させます。
さらに、可視情報の識別範囲をウェーブレット部分空間に拡張します。これにより、ジェネレーターは可視画像の高周波数の詳細を復元することができます。
アブレーション実験は、弁別者間の対立を排除する上での私たちの方法の有効性を示しています。
また、公開データセットでの比較実験は、提案された方法の有効性と優位性を示しています。

要約(オリジナル)

The GAN-based infrared and visible image fusion methods have gained ever-increasing attention due to its effectiveness and superiority. However, the existing methods adopt the global pixel distribution of source images as the basis for discrimination, which fails to focus on the key modality information. Moreover, the dual-discriminator based methods suffer from the confrontation between the discriminators. To this end, we propose an attention-guided and wavelet-constrained GAN for infrared and visible image fusion (AWFGAN). In this method, two unique discrimination strategies are designed to improve the fusion performance. Specifically, we introduce the spatial attention modules (SAM) into the generator to obtain the spatial attention maps, and then the attention maps are utilized to force the discrimination of infrared images to focus on the target regions. In addition, we extend the discrimination range of visible information to the wavelet subspace, which can force the generator to restore the high-frequency details of visible images. Ablation experiments demonstrate the effectiveness of our method in eliminating the confrontation between discriminators. And the comparison experiments on public datasets demonstrate the effectiveness and superiority of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google