FusionBooster: A Unified Image Fusion Boosting Paradigm

要約

近年、異なる視覚タスク間の避けられないギャップや計算負荷を無視して、画像融合タスクの相互強化機構や追加ステージを設計するための数多くのアイデアが登場しました。
私たちは、核融合タスク用に特別に設計されたモデルである FusionBooster の助けを借りて核融合のパフォーマンスを向上させる余地があると主張します。
特に、私たちのブースターは、情報プローブによって制御される分割統治戦略に基づいています。
ブースターは、プローブ ユニット、ブースター層、組み立てモジュールの 3 つの構成要素で構成されます。
バックボーン法によって生成された結果が与えられると、プローブ ユニットは融合画像を評価し、その情報内容に従って結果を分割します。
これは、失われた情報を特定し、回復へのステップとして役立ちます。
融合誘導とともに劣化した成分を回収するのがブースター層の役割です。
最後に、組み立てモジュールは、これらの高度なコンポーネントをつなぎ合わせて出力を提供する責任を負います。
簡潔な再構成損失関数を軽量のオートエンコーダー モデルと組み合わせて使用​​し、計算量の増加を最小限に抑えながら学習タスクを定式化します。
さまざまな融合タスクおよび下流の検出タスクで得られた実験結果は、提案された FusionBooster がパフォーマンスを大幅に向上させることを一貫して示しています。
私たちのコードは https://github.com/AWCXV/FusionBooster で公開されます。

要約(オリジナル)

In recent years, numerous ideas have emerged for designing a mutually reinforcing mechanism or extra stages for the image fusion task, ignoring the inevitable gaps between different vision tasks and the computational burden. We argue that there is a scope to improve the fusion performance with the help of the FusionBooster, a model specifically designed for the fusion task. In particular, our booster is based on the divide-and-conquer strategy controlled by an information probe. The booster is composed of three building blocks: the probe units, the booster layer, and the assembling module. Given the result produced by a backbone method, the probe units assess the fused image and divide the results according to their information content. This is instrumental in identifying missing information, as a step to its recovery. The recovery of the degraded components along with the fusion guidance are the role of the booster layer. Lastly, the assembling module is responsible for piecing these advanced components together to deliver the output. We use concise reconstruction loss functions in conjunction with lightweight autoencoder models to formulate the learning task, with marginal computational complexity increase. The experimental results obtained in various fusion tasks, as well as downstream detection tasks, consistently demonstrate that the proposed FusionBooster significantly improves the performance. Our code will be publicly available at https://github.com/AWCXV/FusionBooster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google