CrossFuse: Learning Infrared and Visible Image Fusion by Cross-Sensor Top-K Vision Alignment and Beyond

要約

赤外線および可視画像融合（IVIF）は、ビデオ監視や自律運転システムなどの重要な分野でますます適用されています。
深い学習ベースの核融合方法には大きな進歩がありました。
ただし、これらのモデルは、実際のアプリケーションでは、分散型（OOD）シーンに頻繁に遭遇し、パフォーマンスと信頼性に大きな影響を与えます。
したがって、OODデータの課題に対処することは、オープンワールド環境でのこれらのモデルの安全な展開には重要です。
既存の研究とは異なり、私たちの焦点は、実際のアプリケーションでOODデータによってもたらされる課題と、モデルの堅牢性と一般化の強化にあります。
この論文では、マルチビューの増強に基づいて、赤外線可視融合フレームワークを提案します。
外部のデータ増強の場合、目に見える画像でRGBワイズ変換を実行することにより、データセット間の分布シフトを軽減するために、Top-K選択的視力アライメントが採用されています。
この戦略は、拡張サンプルを効果的に導入し、モデルの複雑な現実世界のシナリオへの適応性を高めます。
さらに、内部のデータ増強のために、弱い攻撃的な増強を使用して自己教師の学習が確立されます。
これにより、モデルは、融合プロセス中に、より堅牢で一般的な特徴表現を学習し、それにより堅牢性と一般化を改善できます。
広範な実験は、提案された方法がさまざまな条件や環境で優れた性能と堅牢性を示すことを示しています。
私たちのアプローチは、実際のアプリケーションでのIVIFタスクの信頼性と安定性を大幅に向上させます。

要約(オリジナル)

Infrared and visible image fusion (IVIF) is increasingly applied in critical fields such as video surveillance and autonomous driving systems. Significant progress has been made in deep learning-based fusion methods. However, these models frequently encounter out-of-distribution (OOD) scenes in real-world applications, which severely impact their performance and reliability. Therefore, addressing the challenge of OOD data is crucial for the safe deployment of these models in open-world environments. Unlike existing research, our focus is on the challenges posed by OOD data in real-world applications and on enhancing the robustness and generalization of models. In this paper, we propose an infrared-visible fusion framework based on Multi-View Augmentation. For external data augmentation, Top-k Selective Vision Alignment is employed to mitigate distribution shifts between datasets by performing RGB-wise transformations on visible images. This strategy effectively introduces augmented samples, enhancing the adaptability of the model to complex real-world scenarios. Additionally, for internal data augmentation, self-supervised learning is established using Weak-Aggressive Augmentation. This enables the model to learn more robust and general feature representations during the fusion process, thereby improving robustness and generalization. Extensive experiments demonstrate that the proposed method exhibits superior performance and robustness across various conditions and environments. Our approach significantly enhances the reliability and stability of IVIF tasks in practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google