Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising

要約

タイトル：高次元画像のノイズ除去のためのスペクトラル強化矩形トランスフォーマー

要約：

– 高次元画像アプリケーションでは、ノイズ除去が重要なステップである。
– 深層学習の強力さを目撃しても、既存の高次元画像のノイズ除去手法は、非局所自己相似性を捉える際には限界がある。
– トランスフォーマーには、長距離依存関係を捉えるポテンシャルがあるが、特に高次元画像における空間的およびスペクトル的相関をモデル化するために設計されたトランスフォーマーの取り組みはほとんどない。
– この論文では、高次元画像の空間的非局所類似性とグローバルスペクトル低ランク特性を探索するように、スペクトラル強化矩形トランスフォーマーを提案することでこれらの問題に対処する。
– 前者について、水平および垂直に矩形自己注意を利用して、空間領域内の非局所類似性を捉えることができる。
– 後者については、空間スペクトル立方体のグローバルな基礎的低ランク特性を抽出することができるスペクトル強化モジュールを設計して、ノイズを抑制し、非重複空間矩形間の相互作用を可能にする。
– 合成ノイズのある高次元画像と実際のノイズのある高次元画像の両方で、広範な実験が実施され、提案された方法の客観的評価指標および主観的視覚品質の両面で有効性が示されている。
– コードは、https://github.com/MyuLi/SERTで入手可能である。

要約(オリジナル)

Denoising is a crucial step for hyperspectral image (HSI) applications. Though witnessing the great power of deep learning, existing HSI denoising methods suffer from limitations in capturing the non-local self-similarity. Transformers have shown potential in capturing long-range dependencies, but few attempts have been made with specifically designed Transformer to model the spatial and spectral correlation in HSIs. In this paper, we address these issues by proposing a spectral enhanced rectangle Transformer, driving it to explore the non-local spatial similarity and global spectral low-rank property of HSIs. For the former, we exploit the rectangle self-attention horizontally and vertically to capture the non-local similarity in the spatial domain. For the latter, we design a spectral enhancement module that is capable of extracting global underlying low-rank property of spatial-spectral cubes to suppress noise, while enabling the interactions among non-overlapping spatial rectangles. Extensive experiments have been conducted on both synthetic noisy HSIs and real noisy HSIs, showing the effectiveness of our proposed method in terms of both objective metric and subjective visual quality. The code is available at https://github.com/MyuLi/SERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI