SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation

要約

自己教師付き事前トレーニングは、人間による注釈なしで表現力豊かな表現を生成する可能性を秘めています。
地球観測 (EO) の事前トレーニングのほとんどは、ImageNet または中規模のラベル付きリモート センシング (RS) データセットに基づいています。
私たちは、ラベルなしの RS データセット SSL4EO-S12 (地球観測のための自己教師あり学習 – Sentinel-1/2) を共有して、ESA Sentinel-1 からの大規模で全球的、マルチモーダル、および複数季節の衛星画像コーパスを収集します。
& -2 衛星ミッション。
EO アプリケーションでは、SSL4EO-S12 が一連のメソッド (MoCo-v2、DINO、MAE、data2vec) の自己教師あり事前トレーニングに成功することを実証します。
結果として得られるモデルは、教師あり学習の精度測定値に近い、またはそれを超えるダウンストリームのパフォーマンスをもたらします。
さらに、SSL4EO-S12 での事前トレーニングは、既存のデータセットと比較して優れています。
データセット、関連ソース コード、および事前トレーニングされたモデルを https://github.com/zhu-xlab/SSL4EO-S12 で公開しています。

要約(オリジナル)

Self-supervised pre-training bears potential to generate expressive representations without human annotation. Most pre-training in Earth observation (EO) are based on ImageNet or medium-size, labeled remote sensing (RS) datasets. We share an unlabeled RS dataset SSL4EO-S12 (Self-Supervised Learning for Earth Observation – Sentinel-1/2) to assemble a large-scale, global, multimodal, and multi-seasonal corpus of satellite imagery from the ESA Sentinel-1 \& -2 satellite missions. For EO applications we demonstrate SSL4EO-S12 to succeed in self-supervised pre-training for a set of methods: MoCo-v2, DINO, MAE, and data2vec. Resulting models yield downstream performance close to, or surpassing accuracy measures of supervised learning. In addition, pre-training on SSL4EO-S12 excels compared to existing datasets. We make openly available the dataset, related source code, and pre-trained models at https://github.com/zhu-xlab/SSL4EO-S12.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google