Pixel-to-Abundance Translation: Conditional Generative Adversarial Networks Based on Patch Transformer for Hyperspectral Unmixing

要約

スペクトルの分離は、ハイパースペクトル画像処理における重要な課題です。
既存の分離手法は、存在量分布に関する事前知識を利用して正則化最適化問題を解決しますが、適切な事前知識を選択して複雑な正則化最適化問題を解決することが困難です。
これらの問題を解決するために、我々は次の仮定に基づいて、一般的な分離フレームワークとしてハイパースペクトル条件付き敵対的生成ネットワーク (HyperGAN) 手法を提案します: ピクセルからアバンダンスへの分離プロセスは、内部の特定の関係を持つ 2 つのモダリティの変換と見なすことができます。
。
提案されたHyperGANはジェネレータとディスクリミネータで構成され、前者は混合ハイパースペクトルピクセルパッチから中心ピクセルの対応するエンドメンバーの存在量へのモーダル変換を完了し、後者は生成された存在量の分布と構造が同じかどうかを区別するために使用されます。
本当のものとして。
私たちは、ジェネレーターの主要コンポーネントとしてハイパースペクトル イメージ (HSI) パッチ トランスフォーマーを提案します。これは、適応アテンション スコアを利用して HSI パッチの内部ピクセル相関をキャプチャし、空間スペクトル情報をきめ細かい方法で活用して、パッチの最適化を実現します。
混合を解除するプロセス。
合成データと実際のハイパースペクトル データの実験では、最先端の競合他社と比較して優れた結果が得られます。

要約(オリジナル)

Spectral unmixing is a significant challenge in hyperspectral image processing. Existing unmixing methods utilize prior knowledge about the abundance distribution to solve the regularization optimization problem, where the difficulty lies in choosing appropriate prior knowledge and solving the complex regularization optimization problem. To solve these problems, we propose a hyperspectral conditional generative adversarial network (HyperGAN) method as a generic unmixing framework, based on the following assumption: the unmixing process from pixel to abundance can be regarded as a transformation of two modalities with an internal specific relationship. The proposed HyperGAN is composed of a generator and discriminator, the former completes the modal conversion from mixed hyperspectral pixel patch to the abundance of corresponding endmember of the central pixel and the latter is used to distinguish whether the distribution and structure of generated abundance are the same as the true ones. We propose hyperspectral image (HSI) Patch Transformer as the main component of the generator, which utilize adaptive attention score to capture the internal pixels correlation of the HSI patch and leverage the spatial-spectral information in a fine-grained way to achieve optimization of the unmixing process. Experiments on synthetic data and real hyperspectral data achieve impressive results compared to state-of-the-art competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google