Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image Fusion

要約

赤外線画像と可視画像の融合は、コンピューター ビジョンの分野で重要な役割を果たします。
これまでのアプローチでは、損失関数のさまざまな融合ルールを設計する努力が行われてきました。
ただし、これらの実験的に設計された融合規則は、方法をますます複雑にします。
その上、それらのほとんどは視覚効果を高めることにのみ焦点を当てているため、フォローアップの高レベルの視覚タスクでは不十分なパフォーマンスを示しています.
これらの課題に対処するために、このレターでは、セマンティック ガイダンスを十分に活用するためのセマンティック レベルの融合ネットワークを開発し、実験的に設計された融合ルールを解放します。
さらに、特徴融合プロセスのより良い意味理解を達成するために、トランスフォーマーに基づく融合ブロックがマルチスケールで提示されます。
さらに、トレーニング戦略とともに正則化損失関数を考案し、高レベルのビジョン タスクからのセマンティック ガイダンスを十分に活用します。
最先端の方法と比較して、私たちの方法は手作りの核融合損失関数に依存しません。
それでも、フォローアップの高レベルの視覚タスクとともに、視覚的な品質で優れたパフォーマンスを達成します。

要約(オリジナル)

Infrared and visible image fusion plays a vital role in the field of computer vision. Previous approaches make efforts to design various fusion rules in the loss functions. However, these experimental designed fusion rules make the methods more and more complex. Besides, most of them only focus on boosting the visual effects, thus showing unsatisfactory performance for the follow-up high-level vision tasks. To address these challenges, in this letter, we develop a semantic-level fusion network to sufficiently utilize the semantic guidance, emancipating the experimental designed fusion rules. In addition, to achieve a better semantic understanding of the feature fusion process, a fusion block based on the transformer is presented in a multi-scale manner. Moreover, we devise a regularization loss function, together with a training strategy, to fully use semantic guidance from the high-level vision tasks. Compared with state-of-the-art methods, our method does not depend on the hand-crafted fusion loss function. Still, it achieves superior performance on visual quality along with the follow-up high-level vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google