CoMoFusion: Fast and High-quality Fusion of Infrared and Visible Image with Consistency Model

要約

生成モデルは、赤外画像と可視画像の融合の分野で融合画像の分布をモデル化するために広く利用されています。
ただし、現在の生成モデルに基づく融合手法では、トレーニングが不安定で推論速度が遅いという問題がよくあります。
この問題に取り組むために、CoMoFusion と呼ばれる一貫性モデルに基づく新しい融合手法が提案されています。この手法は、高品質の画像を生成し、高速な画像推論速度を実現します。
具体的には、一貫性モデルを使用して、順方向プロセスと逆方向プロセスを使用して潜在空間にマルチモーダル ジョイント フィーチャを構築します。
次に、トレーニングされた一貫性モデルによって抽出された赤外線および可視の特徴が融合モジュールに供給されて、最終的な融合画像が生成されます。
融合された画像のテクスチャと顕著な情報を強化するために、ピクセル値の選択に基づく新しい損失も設計されています。
公開データセットでの広範な実験により、私たちの方法が既存の融合方法と比較して SOTA 融合パフォーマンスが得られることが示されています。

要約(オリジナル)

Generative models are widely utilized to model the distribution of fused images in the field of infrared and visible image fusion. However, current generative models based fusion methods often suffer from unstable training and slow inference speed. To tackle this problem, a novel fusion method based on consistency model is proposed, termed as CoMoFusion, which can generate the high-quality images and achieve fast image inference speed. In specific, the consistency model is used to construct multi-modal joint features in the latent space with the forward and reverse process. Then, the infrared and visible features extracted by the trained consistency model are fed into fusion module to generate the final fused image. In order to enhance the texture and salient information of fused images, a novel loss based on pixel value selection is also designed. Extensive experiments on public datasets illustrate that our method obtains the SOTA fusion performance compared with the existing fusion methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google