Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models

要約

色は、オブジェクトのスペクトルを反映して、人間の視覚において重要な役割を果たします。
ただし、既存の赤外線および可視画像の融合方法では、マルチスペクトル/チャネル データを直接処理し、高い色忠実度を実現する方法を探求することはほとんどありません。
この論文では、Dif-Fusion と呼ばれる拡散モデルを使用した新しい方法を提案することにより、上記の問題に対処し、マルチチャネル入力データの分布を生成します。これにより、マルチソース情報集約の能力と色の忠実度が向上します。
具体的には、既存の融合手法でマルチチャネル画像を単一チャネル データに変換する代わりに、前方および逆拡散プロセスを使用した潜在空間のノイズ除去ネットワークを使用して、マルチチャネル データ分散を作成します。
次に、ノイズ除去ネットワークを使用して、可視情報と赤外線情報の両方でマルチチャネル拡散機能を抽出します。
最後に、マルチチャネル拡散機能をマルチチャネル融合モジュールに供給して、3 チャネル融合画像を直接生成します。
テクスチャと強度情報を保持するために、マルチチャネル勾配損失と強度損失を提案します。
テクスチャと強度の忠実度を測定するための現在の評価指標に加えて、色の忠実度を定量化するための新しい評価指標を導入します。
広範な実験により、特に色の忠実度において、私たちの方法が他の最先端の画像融合方法よりも効果的であることが示されています。

要約(オリジナル)

Color plays an important role in human visual perception, reflecting the spectrum of objects. However, the existing infrared and visible image fusion methods rarely explore how to handle multi-spectral/channel data directly and achieve high color fidelity. This paper addresses the above issue by proposing a novel method with diffusion models, termed as Dif-Fusion, to generate the distribution of the multi-channel input data, which increases the ability of multi-source information aggregation and the fidelity of colors. In specific, instead of converting multi-channel images into single-channel data in existing fusion methods, we create the multi-channel data distribution with a denoising network in a latent space with forward and reverse diffusion process. Then, we use the the denoising network to extract the multi-channel diffusion features with both visible and infrared information. Finally, we feed the multi-channel diffusion features to the multi-channel fusion module to directly generate the three-channel fused image. To retain the texture and intensity information, we propose multi-channel gradient loss and intensity loss. Along with the current evaluation metrics for measuring texture and intensity fidelity, we introduce a new evaluation metric to quantify color fidelity. Extensive experiments indicate that our method is more effective than other state-of-the-art image fusion methods, especially in color fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google