Balancing Task-invariant Interaction and Task-specific Adaptation for Unified Image Fusion

要約

Unified Image Fusionは、多様な融合タスクに適用される統一されたフレームワークを通じて、マルチソース画像から補完的な情報を統合し、画質を向上させることを目的としています。
すべての融合タスクを統一された問題として扱うことにより、タスク不変の知識共有が容易になりますが、タスク固有の特性を見落とし、それによって全体的なパフォーマンスが制限されます。
既存の一般的な画像融合方法には、さまざまな融合タスクへの適応を可能にするために、明示的なタスク識別が組み込まれています。
ただし、推論中のこの依存は、モデルの一般化が目に見えない融合タスクに対する制限を制限します。
これらの問題に対処するために、「Tita」という名前の新しい統一画像融合フレームワークを提案します。これは、タスク不変の相互作用とタスク固有の適応の両方を動的にバランスさせます。
タスクインバリアント相互作用のために、相互作用強化ピクセル注意（IPA）モジュールを導入して、マルチソースの相補的な情報抽出を改善するためのピクセルごとの相互作用を強化します。
タスク固有の適応のために、操作ベースの適応融合（OAF）モジュールは、タスクプロパティに基づいて動作の重みを動的に調整します。
さらに、共同トレーニング中のタスク間の勾配競合の影響を軽減するために、高速適応マルチタスク最適化（FAMO）戦略を組み込みます。
広範な実験は、Titaが3つの画像融合シナリオにわたる特殊な方法と比較して競争力のあるパフォーマンスを達成するだけでなく、目に見えない融合タスクに強い一般化を示すことを示しています。

要約(オリジナル)

Unified image fusion aims to integrate complementary information from multi-source images, enhancing image quality through a unified framework applicable to diverse fusion tasks. While treating all fusion tasks as a unified problem facilitates task-invariant knowledge sharing, it often overlooks task-specific characteristics, thereby limiting the overall performance. Existing general image fusion methods incorporate explicit task identification to enable adaptation to different fusion tasks. However, this dependence during inference restricts the model’s generalization to unseen fusion tasks. To address these issues, we propose a novel unified image fusion framework named ‘TITA’, which dynamically balances both Task-invariant Interaction and Task-specific Adaptation. For task-invariant interaction, we introduce the Interaction-enhanced Pixel Attention (IPA) module to enhance pixel-wise interactions for better multi-source complementary information extraction. For task-specific adaptation, the Operation-based Adaptive Fusion (OAF) module dynamically adjusts operation weights based on task properties. Additionally, we incorporate the Fast Adaptive Multitask Optimization (FAMO) strategy to mitigate the impact of gradient conflicts across tasks during joint training. Extensive experiments demonstrate that TITA not only achieves competitive performance compared to specialized methods across three image fusion scenarios but also exhibits strong generalization to unseen fusion tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google