Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion

要約

最近、暗黙的ニューラル表現 (INR) はさまざまな視覚関連ドメインで大きな進歩を遂げ、マルチスペクトルおよびハイパースペクトル イメージ フュージョン (MHIF) タスクに新しいソリューションを提供しています。
ただし、INR は高周波情報を失う傾向があり、全体的な知覚能力の欠如に限定されています。
これらの問題に対処するために、この論文では、以下の現象をターゲットとして、MHIF タスク用に特別に設計されたフーリエ拡張暗黙的ニューラル フュージョン ネットワーク (FeINFN) を紹介します。 HR-HSI 潜在コードと LR-HSI のフーリエ振幅は非常に似ています。
ただし、それらのフェーズは異なるパターンを示します。
FeINFN では、空間周波数暗黙的融合関数 (Spa-Fre IFF) を革新的に提案し、INR による高周波情報の捕捉を支援し、受容野を拡大します。
さらに、INR 特徴の相互作用を強化するために、空間周波数インタラクティブ デコーダ (SFID) と呼ばれる、複雑なガボール ウェーブレット アクティベーション関数を採用した新しいデコーダが発明されました。
特に、ガボール ウェーブレットの活性化には、デコーダでの最適な帯域幅の学習に有利な時間周波数タイトネス特性があることをさらに理論的に証明します。
2 つのベンチマーク MHIF データセットでの実験により、提案された手法の最先端 (SOTA) パフォーマンスが視覚的および定量的に検証されます。
また、アブレーション研究でも、前述の貢献が実証されています。
このコードは、受け入れられる可能性があれば、匿名 GitHub (https://anonymous.4open.science/r/FeINFN-15C9/) で利用可能になります。

要約(オリジナル)

Recently, implicit neural representations (INR) have made significant strides in various vision-related domains, providing a novel solution for Multispectral and Hyperspectral Image Fusion (MHIF) tasks. However, INR is prone to losing high-frequency information and is confined to the lack of global perceptual capabilities. To address these issues, this paper introduces a Fourier-enhanced Implicit Neural Fusion Network (FeINFN) specifically designed for MHIF task, targeting the following phenomena: The Fourier amplitudes of the HR-HSI latent code and LR-HSI are remarkably similar; however, their phases exhibit different patterns. In FeINFN, we innovatively propose a spatial and frequency implicit fusion function (Spa-Fre IFF), helping INR capture high-frequency information and expanding the receptive field. Besides, a new decoder employing a complex Gabor wavelet activation function, called Spatial-Frequency Interactive Decoder (SFID), is invented to enhance the interaction of INR features. Especially, we further theoretically prove that the Gabor wavelet activation possesses a time-frequency tightness property that favors learning the optimal bandwidths in the decoder. Experiments on two benchmark MHIF datasets verify the state-of-the-art (SOTA) performance of the proposed method, both visually and quantitatively. Also, ablation studies demonstrate the mentioned contributions. The code will be available on Anonymous GitHub (https://anonymous.4open.science/r/FeINFN-15C9/) after possible acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google