Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction

要約

ハイパースペクトル画像 (HSI) 再構成は、問題をデータ モジュールと事前モジュールに定式化することにより、深い展開フレームワークで満足のいく進歩を遂げました。
それにもかかわらず、既存の方法は依然としてHSIデータとのマッチングが不十分であるという問題に直面している。
問題は 3 つの側面にあります。 1) データ モジュールの勾配降下ステップが固定されているが、HSI の劣化はピクセル レベルでは認識されません。
2) 3D HSI キューブ用の以前のモジュールが不適切。
3) さまざまなステージでの機能の違いを無視したステージの相互作用。
これらの問題に対処するために、この研究では、HSI 再構成のためのピクセル適応ディープ展開トランスフォーマー (PADUT) を提案します。
データ モジュールでは、ピクセル レベルにとらわれない劣化に焦点を当てるために、ピクセル適応降下ステップが採用されています。
前のモジュールでは、回復のための HSI の 3D 特性を強調するために、非ローカル スペクトル トランスフォーマー (NST) を紹介しました。
さらに、さまざまなステージと深さでの特徴の多様な表現に触発され、ステージのインタラクションは高速フーリエ変換 (FFT) によって改善されています。
シミュレートされたシーンと実際のシーンの両方での実験結果は、最先端の HSI 再構成方法と比較して、私たちの方法の優れたパフォーマンスを示しています。
コードは https://github.com/MyuLi/PADUT でリリースされています。

要約(オリジナル)

Hyperspectral Image (HSI) reconstruction has made gratifying progress with the deep unfolding framework by formulating the problem into a data module and a prior module. Nevertheless, existing methods still face the problem of insufficient matching with HSI data. The issues lie in three aspects: 1) fixed gradient descent step in the data module while the degradation of HSI is agnostic in the pixel-level. 2) inadequate prior module for 3D HSI cube. 3) stage interaction ignoring the differences in features at different stages. To address these issues, in this work, we propose a Pixel Adaptive Deep Unfolding Transformer (PADUT) for HSI reconstruction. In the data module, a pixel adaptive descent step is employed to focus on pixel-level agnostic degradation. In the prior module, we introduce the Non-local Spectral Transformer (NST) to emphasize the 3D characteristics of HSI for recovering. Moreover, inspired by the diverse expression of features in different stages and depths, the stage interaction is improved by the Fast Fourier Transform (FFT). Experimental results on both simulated and real scenes exhibit the superior performance of our method compared to state-of-the-art HSI reconstruction methods. The code is released at: https://github.com/MyuLi/PADUT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google