Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

要約

タイトル：ハイブリッド畳み込みに基づく二重領域ネットワークを用いた超分光画像の超解像度

要約：
– 高次元で相関のある高分光画像（HSI）のスペクトル分解のために補助的な高分解能画像がない場合において、HSIの超分解度（SR）は依然として課題である。
– この論文では、空間的・スペクトル的、および周波数ドメインの情報を十分に利用するために、二重領域ネットワークを提案する（SRDNet）。
– 空間的領域において独立スペクトルの自己類似性を捉えるためネットワークは注意力機構を含む（HSL）。
– また、注意力の受容領域を拡大するピラミッド構造を適用することで、ネットワークの特徴表現能力が強化される。
– HSIの知覚的品質を改善するため、周波数損失（HFL）を導入して、周波数ドメインでモデルを最適化する。
– 最後に、ハイブリッドモジュールを用いた2Dと3Dの進行的アップサンプリング戦略を行い、高分解能空間と低分解能空間のマッピング関係を完全に理解するために行う。
– 広く使われているベンチマークデータセット上の実験により、提案されたSRDNet手法はHSIのテクスチャ情報を向上させ、最新の手法より優れていることが示された。

要約(オリジナル)

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI