Hyperspectral Vision Transformers for Greenhouse Gas Estimations from Space

要約

Hyperspectralイメージングは​​、詳細なスペクトル情報を提供し、温室効果ガス（GHG）の監視に大きな可能性を秘めています。
ただし、そのアプリケーションは、限られた空間カバレッジとまれな再訪時間によって制約されます。
対照的に、マルチスペクトルイメージングは​​より広い空間的および時間的カバレッジを提供しますが、多くの場合、GHGの検出を強化できるスペクトルの詳細が欠けています。
これらの課題に対処するために、この研究では、マルチスペクトル入力からのハイパースペクトルデータを合成するスペクトルトランスモデルを提案しています。
このモデルは、帯域ごとのマスクされた自動エンコーダーを介して事前に訓練され、その後、空間的に整列したマルチスペクトルヒパーズスペクトル画像ペアで微調整されます。
結果として得られる合成ハイパースペクトルデータは、マルチスペクトル画像の空間的および時間的利点を保持し、マルチスペクトルデータのみを使用することと比較してGHG予測の精度を向上させます。
このアプローチは、スペクトル解像度とカバレッジの間のトレードオフを効果的に橋渡しし、ハイパースペクトルシステムとマルチスペクトルシステムの強さを自己監視の深い学習と組み合わせることにより、大気モニタリングを進める可能性を強調しています。

要約(オリジナル)

Hyperspectral imaging provides detailed spectral information and holds significant potential for monitoring of greenhouse gases (GHGs). However, its application is constrained by limited spatial coverage and infrequent revisit times. In contrast, multispectral imaging offers broader spatial and temporal coverage but often lacks the spectral detail that can enhance GHG detection. To address these challenges, this study proposes a spectral transformer model that synthesizes hyperspectral data from multispectral inputs. The model is pre-trained via a band-wise masked autoencoder and subsequently fine-tuned on spatio-temporally aligned multispectral-hyperspectral image pairs. The resulting synthetic hyperspectral data retain the spatial and temporal benefits of multispectral imagery and improve GHG prediction accuracy relative to using multispectral data alone. This approach effectively bridges the trade-off between spectral resolution and coverage, highlighting its potential to advance atmospheric monitoring by combining the strengths of hyperspectral and multispectral systems with self-supervised deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google