HyFusion: Enhanced Reception Field Transformer for Hyperspectral Image Fusion

要約

ハイパースペクトル画像 (HSI) フュージョンは、高解像度マルチスペクトル画像 (HR-MSI) および低解像度 HSI (LR-HSI) から高解像度 HSI (HR-HSI) を再構成するという課題に対処します。これは、高コストと高コストを考慮すると重要なタスクです。
高品質の HSI の取得に関連するハードウェアの制限。
既存の方法は空間およびスペクトルの関係を活用していますが、多くの場合、限られた受容野と不十分な機能利用の問題が発生し、最適なパフォーマンスが得られません。
さらに、高品質の HSI データが不足しているため、再構築の品質を最大化するために効率的なデータ利用の重要性が強調されています。
これらの問題に対処するために、私たちは受容野を強化し、効果的な特徴マップの再利用を可能にし、それによってデータ利用を最大化するように設計された新しいフレームワークである HyFusion を提案します。
まず、HR-MSI 入力と LR-HSI 入力が連結されて準融合ドラフトを形成し、相補的な空間およびスペクトルの詳細が維持されます。
次に、拡張受信フィールド ブロック (ERFB) が導入されます。これは、シフト ウィンドウ アテンションと高密度接続を組み合わせて受信フィールドを拡張し、長距離の依存関係を効果的にキャプチャし、機能を再利用して情報損失を削減し、それによってデータ効率を高めます。
最後に、Dual-Coupled Network (DCN) は、LR-HSI および HR-MSI から高周波スペクトルおよび空間特徴を動的に抽出し、効率的なクロスドメイン融合を保証します。
広範な実験により、HyFusion が HR-MSI/LR-HSI 融合において最先端のパフォーマンスを達成し、コンパクトなモデル サイズと計算効率を維持しながら再構成の品質を大幅に向上させることが実証されました。
HyFusion は、強化された受容野と特徴マップの再利用を統合することにより、リソースに制約のあるシナリオにおける HSI 融合のための実用的かつ効果的なソリューションを提供し、ハイパースペクトル イメージングの新しいベンチマークを設定します。
私たちのコードは公開される予定です。

要約(オリジナル)

Hyperspectral image (HSI) fusion addresses the challenge of reconstructing High-Resolution HSIs (HR-HSIs) from High-Resolution Multispectral images (HR-MSIs) and Low-Resolution HSIs (LR-HSIs), a critical task given the high costs and hardware limitations associated with acquiring high-quality HSIs. While existing methods leverage spatial and spectral relationships, they often suffer from limited receptive fields and insufficient feature utilization, leading to suboptimal performance. Furthermore, the scarcity of high-quality HSI data highlights the importance of efficient data utilization to maximize reconstruction quality. To address these issues, we propose HyFusion, a novel framework designed to enhance the receptive field and enable effective feature map reusing, thereby maximizing data utilization. First, HR-MSI and LR-HSI inputs are concatenated to form a quasi-fused draft, preserving complementary spatial and spectral details. Next, the Enhanced Reception Field Block (ERFB) is introduced, combining shifting-window attention and dense connections to expand the receptive field, effectively capturing long-range dependencies and reusing features to reduce information loss, thereby boosting data efficiency. Finally, the Dual-Coupled Network (DCN) dynamically extracts high-frequency spectral and spatial features from LR-HSI and HR-MSI, ensuring efficient cross-domain fusion. Extensive experiments demonstrate that HyFusion achieves state-of-the-art performance in HR-MSI/LR-HSI fusion, significantly improving reconstruction quality while maintaining a compact model size and computational efficiency. By integrating enhanced receptive fields and feature map reusing, HyFusion provides a practical and effective solution for HSI fusion in resource-constrained scenarios, setting a new benchmark in hyperspectral imaging. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google