Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

要約

入射エネルギーの数は限られているため、高い空間分解能を持つハイパースペクトル画像（HSI）を直接取得することは困難です。
HSI の高次元性と相関性を考慮すると、補助的な高解像度画像が存在しない場合、HSI の超解像度 (SR) は依然として課題です。
さらに、空間特徴を効果的に抽出し、スペクトル情報を最大限に活用することが非常に重要です。
この論文では、ハイブリッド畳み込みに基づくデュアルドメイン ネットワーク (SRDNet) と呼ばれる、新しい HSI 超解像度アルゴリズムを提案します。
具体的には、デュアルドメイン ネットワークは、ハイパースペクトル データ間の空間スペクトルおよび周波数情報を最大限に活用するように設計されています。
スペクトル間の自己類似性を捉えるために、空間領域で自己注意学習メカニズム (HSL) が考案されています。
一方、ピラミッド構造は、注目の受け入れフィールドを増やすために適用され、ネットワークの特徴表現能力をさらに強化します。
さらに、HSI の知覚品質をさらに向上させるために、周波数損失 (HFL) が導入され、周波​​数領域でモデルが最適化されます。
動的重み付けメカニズムにより、ネットワークは生成された周波数と空間損失によって引き起こされる過剰な平滑化を徐々に調整します。
最後に、高解像度空間と低解像度空間の間のマッピング関係をより完全に取得するために、プログレッシブ アップサンプリング戦略を備えた 2D ユニットと 3D ユニットのハイブリッド モジュールがこの方法で利用されます。
広く使用されているベンチマーク データセットの実験では、提案された SRDNet 手法が HSI のテクスチャ情報を強化し、最先端の手法よりも優れていることが示されています。

要約(オリジナル)

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google