Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

要約

タイトル：ハイブリッド畳み込みに基づく二重領域ネットワークによる高解像度の超分光画像の復元

要約：

– 高い次元性と相関関係を持つ超分光画像のため、補助的な高解像度の画像がない場合に超解像度 (SR) の実現は課題である。
– 空間的特徴を効果的に抽出し、スペクトル情報を十分活用することが非常に重要である。
– SRDNetと呼ばれる新しいHSI超解像度アルゴリズムが提案された。このアルゴリズムでは、デュアルドメインネットワークが設計され、空間スペクトル特性と周波数情報を完全に活用することができる。空間ドメインで自己類似性を捉えるために、自己注意学習機構 (HSL) が設計される。
– さらに、ピラミッド構造が注意の受容フィールドを増加させることに使用され、ネットワークの特徴表現能力を更に強化する。
– さらに、HSIの知覚品質をより向上させるために、周波数損失(HFL)を導入して、周波数領域でモデルを最適化した。
– 最後に、2Dと3Dユニットのハイブリッドモジュールと徐々にアップサンプリングするプログレッシブアップサンプリング戦略を使用して、高解像度と低解像度空間のマッピング関係をより完全に取得するために、方法が採用される。
– 広く使用されているベンチマークデータセットの実験により、提案されたSRDNet方法は、HSIのテクスチャ情報を強化し、最先端の方法に優れていることが示された。

要約(オリジナル)

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI