S4: Self-Supervised Sensing Across the Spectrum

要約

衛星画像時系列 (SITS) セグメンテーションは、環境モニタリング、土地被覆マッピング、農作物の種類分類などの多くのアプリケーションにとって重要です。
ただし、豊富なトレーニング データが不足しているため、SITS セグメンテーション用モデルのトレーニングは依然として困難な作業であり、きめ細かいアノテーションが必要です。
私たちは、2 つの新しい洞察を利用することで、ラベル付きトレーニング データの要件を大幅に削減する、新しい自己教師ありの事前トレーニング アプローチである S4 を提案します。 (a) 衛星は、無線周波数や可視周波数などのスペクトルのさまざまな部分で画像をキャプチャします。
(b) 衛星画像は地理的に登録されており、きめ細かい空間位置合わせが可能です。
これらの洞察を使用して、S4 での事前トレーニング タスクを策定します。
また、m2s2-SITS も厳選しています。これは、S4 の代表的な事前トレーニング データとして機能する、ラベルなしで空間的に位置合わせされたマルチモーダルで地理固有の SITS の大規模なデータセットです。
最後に、複数の SITS セグメンテーション データセットで S4 を評価し、限られたラベル付きデータを使用しながら、競合するベースラインに対する S4 の有効性を実証します。

要約(オリジナル)

Satellite image time series (SITS) segmentation is crucial for many applications like environmental monitoring, land cover mapping and agricultural crop type classification. However, training models for SITS segmentation remains a challenging task due to the lack of abundant training data, which requires fine grained annotation. We propose S4 a new self-supervised pre-training approach that significantly reduces the requirement for labeled training data by utilizing two new insights: (a) Satellites capture images in different parts of the spectrum such as radio frequencies, and visible frequencies. (b) Satellite imagery is geo-registered allowing for fine-grained spatial alignment. We use these insights to formulate pre-training tasks in S4. We also curate m2s2-SITS, a large-scale dataset of unlabeled, spatially-aligned, multi-modal and geographic specific SITS that serves as representative pre-training data for S4. Finally, we evaluate S4 on multiple SITS segmentation datasets and demonstrate its efficacy against competing baselines while using limited labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google