Toulouse Hyperspectral Data Set: a benchmark data set to assess semi-supervised spectral representation learning and pixel-wise classification techniques

要約

航空ハイパースペクトル画像は、広いスペクトル領域で非常に高い空間解像度とスペクトル解像度を備えているため、大都市地域の土地被覆のマッピングに使用できます。
ハイパースペクトル画像のスペクトル次元は、地表の化学組成について非常に有益な情報を提供しますが、土地被覆をマッピングするための最先端の機械学習アルゴリズムの使用は、トレーニング データの利用可能性によって大幅に制限されてきました。
アノテーションの不足に対処するために、最近、半教師ありおよび自己教師ありの手法がコミュニティで大きな関心を集めています。
しかし、機械学習モデルのベンチマークに一般的に使用される公的に入手可能なハイパースペクトル データ セットは、次の特性の 1 つまたは複数により、汎化パフォーマンスの評価には完全には適していません: 地理的範囲が限られている (大都市圏のスペクトルの多様性を反映していない)
、土地被覆クラスの数が少ないこと、半教師あり学習と自己教師あり学習のための適切な標準トレーニング/テスト分割が欠如していることです。
したがって、ラベル付きピクセルが非常に少ない大規模なハイパースペクトル画像に対するスペクトル表現の学習と分類における重要な問題に対処するために、この論文では、上記の点で他のデータ セットよりも優れたトゥールーズ ハイパースペクトル データ セットをリリースします。
さらに、マスクされたオートエンコーダーを含むスペクトル表現学習のための自己教師あり手法について議論および実験し、85% の全体精度と 77% の F1 スコアを達成するピクセル単位の分類のベースラインを確立します。
トゥールーズ ハイパースペクトル データ セットとコードは、それぞれ https://www.toulouse-hyperspectral-data-set.com と https://www.github.com/Romain3Ch216/tlse-experiments で公開されています。

要約(オリジナル)

Airborne hyperspectral images can be used to map the land cover in large urban areas, thanks to their very high spatial and spectral resolutions on a wide spectral domain. While the spectral dimension of hyperspectral images is highly informative of the chemical composition of the land surface, the use of state-of-the-art machine learning algorithms to map the land cover has been dramatically limited by the availability of training data. To cope with the scarcity of annotations, semi-supervised and self-supervised techniques have lately raised a lot of interest in the community. Yet, the publicly available hyperspectral data sets commonly used to benchmark machine learning models are not totally suited to evaluate their generalization performances due to one or several of the following properties: a limited geographical coverage (which does not reflect the spectral diversity in metropolitan areas), a small number of land cover classes and a lack of appropriate standard train / test splits for semi-supervised and self-supervised learning. Therefore, we release in this paper the Toulouse Hyperspectral Data Set that stands out from other data sets in the above-mentioned respects in order to meet key issues in spectral representation learning and classification over large-scale hyperspectral images with very few labeled pixels. Besides, we discuss and experiment self-supervised techniques for spectral representation learning, including the Masked Autoencoder, and establish a baseline for pixel-wise classification achieving 85% overall accuracy and 77% F1 score. The Toulouse Hyperspectral Data Set and our code are publicly available at https://www.toulouse-hyperspectral-data-set.com and https://www.github.com/Romain3Ch216/tlse-experiments, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google