SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing

要約

ハイパースペクトル ピクセル分離の目的は、ハイパースペクトル イメージのピクセル内の基礎となるマテリアル (エンドメンバー) とその比率 (存在量) を見つけることです。
この研究は、ピクセル分離を実行する際にローカルな空間コンテキストを考慮することによって、潜在ディリクレ変分オートエンコーダー (LDVAE) ピクセル分離スキームを拡張します。
提案された方法は、空間的注意を備えた等方性畳み込みニューラル ネットワークを使用して、エンドメンバーにわたるディリクレ分布としてピクセルをエンコードします。
Samson、Hydice Urban、Cuprite、および OnTech-HSI-Syn-21 データセットでモデルを評価しました。
私たちのモデルは、Cuprite Dataset の転移学習パラダイムも活用しており、合成データでモデルをトレーニングし、実世界のデータで評価します。
この結果は、空間コンテキストを組み込むことで端成分抽出と存在量推定の両方が改善されることを示唆しています。

要約(オリジナル)

The hyperspectral pixel unmixing aims to find the underlying materials (endmembers) and their proportions (abundances) in pixels of a hyperspectral image. This work extends the Latent Dirichlet Variational Autoencoder (LDVAE) pixel unmixing scheme by taking into account local spatial context while performing pixel unmixing. The proposed method uses an isotropic convolutional neural network with spatial attention to encode pixels as a dirichlet distribution over endmembers. We have evaluated our model on Samson, Hydice Urban, Cuprite, and OnTech-HSI-Syn-21 datasets. Our model also leverages the transfer learning paradigm for Cuprite Dataset, where we train the model on synthetic data and evaluate it on the real-world data. The results suggest that incorporating spatial context improves both endmember extraction and abundance estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google