Wavelet-Assisted Multi-Frequency Attention Network for Pansharpening

要約

Pansharpeningは、高解像度のマルチスペクトル（LRMS）画像と高解像度パンクロマティック（PAN）画像を組み合わせて、高解像度のマルチスペクトル（HRMS）画像を生成することを目的としています。
周波数ドメインでのパンシャープは明確な利点を提供しますが、ほとんどの既存の方法は、空間ドメインでのみ動作し続けるか、周波数ドメインの利点を完全に活用できません。
この問題に対処するために、革新的に多周波融合注意（MFFA）を提案します。これは、ウェーブレット変換を活用して、周波数をきれいに分離し、異なる周波数ドメインでロスレス再構築を可能にします。
次に、さまざまな特徴で表される物理的意味に基づいて、周波数Query、Spatial-Key、およびFusion-Valueを生成します。これにより、周波数ドメインで特定の情報をより効果的にキャプチャできます。
さらに、さまざまな操作にわたる周波数機能の保存に焦点を当てています。
より広いレベルでは、当社のネットワークはウェーブレットピラミッドを採用して、複数のスケールで情報を徐々に融合させます。
以前の周波数ドメインアプローチと比較して、当社のネットワークは、融合プロセス中のさまざまな周波数機能の混乱と喪失を防ぎます。
複数のデータセットでの定量的および定性的実験は、この方法が既存のアプローチを上回り、実際のシナリオの重要な一般化能力を示すことを示しています。

要約(オリジナル)

Pansharpening aims to combine a high-resolution panchromatic (PAN) image with a low-resolution multispectral (LRMS) image to produce a high-resolution multispectral (HRMS) image. Although pansharpening in the frequency domain offers clear advantages, most existing methods either continue to operate solely in the spatial domain or fail to fully exploit the benefits of the frequency domain. To address this issue, we innovatively propose Multi-Frequency Fusion Attention (MFFA), which leverages wavelet transforms to cleanly separate frequencies and enable lossless reconstruction across different frequency domains. Then, we generate Frequency-Query, Spatial-Key, and Fusion-Value based on the physical meanings represented by different features, which enables a more effective capture of specific information in the frequency domain. Additionally, we focus on the preservation of frequency features across different operations. On a broader level, our network employs a wavelet pyramid to progressively fuse information across multiple scales. Compared to previous frequency domain approaches, our network better prevents confusion and loss of different frequency features during the fusion process. Quantitative and qualitative experiments on multiple datasets demonstrate that our method outperforms existing approaches and shows significant generalization capabilities for real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google