Rethinking Few-Shot Image Fusion: Granular Ball Priors Enable General-Purpose Deep Fusion

要約

画像融合タスクでは、プライアーとしての実際の融合画像が存在しないことは、基本的な課題を提示します。
ほとんどの深い学習ベースの融合方法は、大規模なペアのデータセットに依存して、生の画像からグローバルな重み付け機能を抽出し、それにより、実際の融合画像を近似する融合出力を生成します。
以前の研究とは対照的に、このペーパーでは、事前知識があるという条件下でのニューラルネットワークの少数のショットトレーニングを調査します。
GBFFという名前の新しい融合フレームワークと、少数のショット以前の設定向けに特別に設計された粒状ボールの重要な抽出アルゴリズムを提案します。
融合プロセスに関与するすべてのピクセルペアは、最初は粗粒の粒状ボールとしてモデル化されます。
ローカルレベルでは、細粒の粒状ボールを使用して、輝度空間をスライドさせて非依存性ピクセルペアを抽出し、分割操作を実行して顕著なピクセルペアを取得します。
次に、ピクセルごとの重みが計算され、擬似補助画像が生成されます。
グローバルレベルでは、融合プロセスに多大な貢献をしたピクセルペアが正の領域に分類されますが、その貢献を正確に決定できないものは境界領域に割り当てられます。
粒状ボールは、正の領域の割合に基づいてモダリティを意識した適応を実行し、それによりニューラルネットワークの損失関数を調整し、境界領域の情報を補完できるようにします。
広範な実験は、提案されたアルゴリズムと基礎となる理論の両方の有効性を示しています。
最先端の（SOTA）方法と比較して、私たちのアプローチは、融合時間とイメージの表現力の両方の観点から強い競争力を示しています。
当社のコードは、次のように公開されています。

要約(オリジナル)

In image fusion tasks, the absence of real fused images as priors presents a fundamental challenge. Most deep learning-based fusion methods rely on large-scale paired datasets to extract global weighting features from raw images, thereby generating fused outputs that approximate real fused images. In contrast to previous studies, this paper explores few-shot training of neural networks under the condition of having prior knowledge. We propose a novel fusion framework named GBFF, and a Granular Ball Significant Extraction algorithm specifically designed for the few-shot prior setting. All pixel pairs involved in the fusion process are initially modeled as a Coarse-Grained Granular Ball. At the local level, Fine-Grained Granular Balls are used to slide through the brightness space to extract Non-Salient Pixel Pairs, and perform splitting operations to obtain Salient Pixel Pairs. Pixel-wise weights are then computed to generate a pseudo-supervised image. At the global level, pixel pairs with significant contributions to the fusion process are categorized into the Positive Region, while those whose contributions cannot be accurately determined are assigned to the Boundary Region. The Granular Ball performs modality-aware adaptation based on the proportion of the positive region, thereby adjusting the neural network’s loss function and enabling it to complement the information of the boundary region. Extensive experiments demonstrate the effectiveness of both the proposed algorithm and the underlying theory. Compared with state-of-the-art (SOTA) methods, our approach shows strong competitiveness in terms of both fusion time and image expressiveness. Our code is publicly available at:

arxiv情報

提供元, 利用サービス

arxiv.jp, Google