Hybrid Spectral Denoising Transformer with Guided Attention

要約

この論文では、ハイパースペクトル画像ノイズ除去用のハイブリッド スペクトルノイズ除去トランス (HSDT) を紹介します。
変圧器を HSI に適応させる際の課題は、効率と柔軟性を維持しながらグローバルおよびローカルの空間スペクトル相関を捕捉する際の CNN ベースの手法の既存の制限に対処できるかどうかから生じます。
これらの問題に対処するために、両方のモデルの利点を空間スペクトル分離畳み込み (S3Conv)、ガイド付きスペクトル セルフアテンション (GSSA)、および自己変調フィードフォワード ネットワーク (SM-FFN) と組み合わせたハイブリッド アプローチを導入します。
。
当社の S3Conv は、3D コンボリューションの軽量な代替手段として機能し、任意の数のバンドで HSI に対処する柔軟性を維持しながら、より多くの空間スペクトル相関特徴を抽出します。
これらの特徴は、スペクトル シグネチャをエンコードする学習可能なクエリのセットによって導かれ、スペクトル帯域全体で 3D セルフ アテンションを実行する GSSA によって適応的に処理されます。
これにより、グローバルなスペクトル相関を特定するための強力な機能でモデルが強化されるだけでなく、線形の複雑さも維持されます。
さらに、私たちの SM-FFN は、より有益な領域の活性化を強化する自己変調を提案しており、これにより集約された機能がさらに強化されます。
シミュレートされたノイズと現実世界のノイズの両方の下で、さまざまなデータセットに対して広範な実験が行われ、私たちの HSDT が、低い計算オーバーヘッドを維持しながら、既存の最先端の手法を大幅に上回っていることが示されています。
コードは https://github.com/Zeqiang-Lai/HSDT にあります。

要約(オリジナル)

In this paper, we present a Hybrid Spectral Denoising Transformer (HSDT) for hyperspectral image denoising. Challenges in adapting transformer for HSI arise from the capabilities to tackle existing limitations of CNN-based methods in capturing the global and local spatial-spectral correlations while maintaining efficiency and flexibility. To address these issues, we introduce a hybrid approach that combines the advantages of both models with a Spatial-Spectral Separable Convolution (S3Conv), Guided Spectral Self-Attention (GSSA), and Self-Modulated Feed-Forward Network (SM-FFN). Our S3Conv works as a lightweight alternative to 3D convolution, which extracts more spatial-spectral correlated features while keeping the flexibility to tackle HSIs with an arbitrary number of bands. These features are then adaptively processed by GSSA which per-forms 3D self-attention across the spectral bands, guided by a set of learnable queries that encode the spectral signatures. This not only enriches our model with powerful capabilities for identifying global spectral correlations but also maintains linear complexity. Moreover, our SM-FFN proposes the self-modulation that intensifies the activations of more informative regions, which further strengthens the aggregated features. Extensive experiments are conducted on various datasets under both simulated and real-world noise, and it shows that our HSDT significantly outperforms the existing state-of-the-art methods while maintaining low computational overhead. Code is at https: //github.com/Zeqiang-Lai/HSDT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google