SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing

要約

ハイパースペクトル解明問題は、基礎となる材料 (エンドメンバー) の純粋なスペクトル信号とその比率 (存在量) を見つけることです。
提案された方法は、最近提案された方法である潜在ディリクレ変分オートエンコーダ (LDVAE) に基づいています。
それは、混合ピクセルとエンドメンバーが多変量正規分布で表される一方で、存在量がディリクレ分布としてエンコードできることを前提としています。
ただし、LDVAE は HSI に存在する空間情報を利用しません。
ハイパースペクトル分離問題を解決するために、空間的な注意を払った等方性 CNN エンコーダを提案します。
Samson、Hydice Urban、Cuprite、および OnTech-HSI-Syn-21 データセットでモデルを評価しました。
私たちのモデルは、Cuprite Dataset の転移学習パラダイムも活用しており、合成データでモデルをトレーニングし、実世界のデータで評価します。
空間情報を組み込むことにより、端成分抽出と存在量推定の結果が向上することが観察できます。
コードは https://github.com/faisalqureshi/cnn-ldvae で見つけることができます。

要約(オリジナル)

The Hyperspectral Unxming problem is to find the pure spectral signal of the underlying materials (endmembers) and their proportions (abundances). The proposed method builds upon the recently proposed method, Latent Dirichlet Variational Autoencoder (LDVAE). It assumes that abundances can be encoded as Dirichlet Distributions while mixed pixels and endmembers are represented by Multivariate Normal Distributions. However, LDVAE does not leverage spatial information present in an HSI; we propose an Isotropic CNN encoder with spatial attention to solve the hyperspectral unmixing problem. We evaluated our model on Samson, Hydice Urban, Cuprite, and OnTech-HSI-Syn-21 datasets. Our model also leverages the transfer learning paradigm for Cuprite Dataset, where we train the model on synthetic data and evaluate it on real-world data. We are able to observe the improvement in the results for the endmember extraction and abundance estimation by incorporating the spatial information. Code can be found at https://github.com/faisalqureshi/cnn-ldvae

arxiv情報

提供元, 利用サービス

arxiv.jp, Google