Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond

要約

タイトル：複数のモダリティ画像融合とそれ以上のためのバイレベルダイナミック学習

要約：

– 複数モダリティのシーン認識タスク、例えば画像融合やシーン理解に関心が高まっている。
– しかしながら、初期の取り組みは常に単一タスクの強化に注力し、他のタスクを無視し、共同促進のための基盤の探求はまれであった。
– 上記の限界を克服するために、階層的な二重タスク駆動型の深層モデルを構築し、これらのタスクを結びつけた。
– 具体的には、まず補完的な特徴を融合する画像融合モジュールを構築し、視覚的効果のための認識器と特徴測定のための意味ネットワークなど、二重タスク関連モジュールを連鎖させる。
– 画像融合とその後のダウンストリームタスクを形成するためにバイレベルの視点を提供する。
– 画像融合を主要な目標とし、二重モジュールを学習可能な制約として考慮することで画像融合のために異なるタスク関連の応答を組み込む。
– さらに、対応する勾配を計算する効率的な一次近似法を開発し、ダイナミックな重み付け集約を提示して、融合学習の勾配をバランスさせる。
– 広範な実験により、視覚的に魅力的な融合結果を生み出すだけでなく、検出およびセグメンテーションについて、最先端のアプローチよりも大幅に促進されることが示されている。

要約(オリジナル)

Recently, multi-modality scene perception tasks, e.g., image fusion and scene understanding, have attracted widespread attention for intelligent vision systems. However, early efforts always consider boosting a single task unilaterally and neglecting others, seldom investigating their underlying connections for joint promotion. To overcome these limitations, we establish the hierarchical dual tasks-driven deep model to bridge these tasks. Concretely, we firstly construct an image fusion module to fuse complementary characteristics and cascade dual task-related modules, including a discriminator for visual effects and a semantic network for feature measurement. We provide a bi-level perspective to formulate image fusion and follow-up downstream tasks. To incorporate distinct task-related responses for image fusion, we consider image fusion as a primary goal and dual modules as learnable constraints. Furthermore, we develop an efficient first-order approximation to compute corresponding gradients and present dynamic weighted aggregation to balance the gradients for fusion learning. Extensive experiments demonstrate the superiority of our method, which not only produces visually pleasant fused results but also realizes significant promotion for detection and segmentation than the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI