Deep Learning for blind spectral unmixing of LULC classes with MODIS multispectral time series and ancillary data

要約

リモートセンシングデータは、土地利用・土地被覆（LULC）タイプが混在している。スペクトル混合除去は、混合されたピクセルから、構成するLULCタイプとそれに対応する存在割合に情報を抽出する技術である。従来、このタスクを解決するには、エンドメンバーの事前知識を必要とする古典的手法か、明示的なエンドメンバーの計算を回避する機械学習手法（ブラインドスペクトルアンミキシング（BSU）としても知られる）のいずれかに依存してきた。ディープラーニング（Deep Learning：DL）に基づくBSUの研究の多くは、1タイムステップのハイパースペクトルまたはマルチスペクトルデータに焦点を当てている。我々の知る限り、我々はMODISマルチスペクトル時系列を用いたLULCクラスのBSUに関する最初の研究を提供する。さらに、地理的情報と地形的情報（geo-topographic）および気候的補助情報を組み込むことにより、Long-Short Term Memory（LSTM）ベースのモデルの性能を向上させた。我々の実験によれば、スペクトル-時系列入力データと地理-地形および気候情報を組み合わせることで、混合ピクセルにおけるLULCクラスの存在量推定が大幅に改善される。この研究を実施するために、アンダルシア地方（スペイン）のMODISの460m解像度の2013年のピクセルの月別マルチスペクトル時系列から、2つの階層レベルのLULCクラスについて新しいラベル付きデータセットを構築し、アンダルシア・マルチスペクトラル・マルチタイム・アンミキシング（Andalusia-MSMTU）と名付けた。このデータセットは、画素レベルで、マルチスペクトル時系列と、各画素内の各LULCクラスの存在量を注釈した付随情報を提供する。データセット（https://zenodo.org/record/7752348##.ZBmkkezMLdo）とコード（https://github.com/jrodriguezortega/MSMTU）は一般公開されている。

要約(オリジナル)

Remotely sensed data are dominated by mixed Land Use and Land Cover (LULC) types. Spectral unmixing is a technique to extract information from mixed pixels into their constituent LULC types and corresponding abundance fractions. Traditionally, solving this task has relied on either classical methods that require prior knowledge of endmembers or machine learning methods that avoid explicit endmembers calculation, also known as blind spectral unmixing (BSU). Most BSU studies based on Deep Learning (DL) focus on one time-step hyperspectral or multispectral data. To our knowledge, here we provide the first study on BSU of LULC classes using MODIS multispectral time series, in presence of missing data, with end-to-end DL models. We further boost the performance of a Long-Short Term Memory (LSTM)-based model by incorporating geographic plus topographic (geo-topographic) and climatic ancillary information. Our experiments show that combining spectral-temporal input data together with geo-topographic and climatic information substantially improves the abundance estimation of LULC classes in mixed pixels. To carry out this study, we built a new labeled dataset of the region of Andalusia (Spain) with monthly multispectral time series of pixels for the year 2013 from MODIS at 460m resolution, for two hierarchical levels of LULC classes, named Andalusia MultiSpectral MultiTemporal Unmixing (Andalusia-MSMTU). This dataset provides, at the pixel level, a multispectral time series plus ancillary information annotated with the abundance of each LULC class inside each pixel. The dataset (https://zenodo.org/record/7752348##.ZBmkkezMLdo) and code (https://github.com/jrodriguezortega/MSMTU) are available to the public.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL