Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

要約

リモート センシング データを解析するための機械学習アルゴリズムには、社会に関連する幅広い用途がありますが、これらのアルゴリズムのトレーニングに使用されるラベルの取得は困難または不可能な場合があります。
この課題により、ラベル付きデータセットが小さい地域やアプリケーション ドメインでの機械学習の使用を可能にすることを目的とした、リモート センシング データの自己教師あり学習の研究が促進されました。
リモート センシング データに対する現在の自己教師あり学習アプローチは、自然画像に適用される技術から重要なインスピレーションを得ています。
ただし、リモート センシング データには自然画像とは重要な違いがあります。たとえば、時間的次元は多くのタスクにとって重要であり、データは多くの補完的なセンサーから収集されます。
リモート センシング データに特化したモデルと自己教師ありトレーニング手法を設計すると、より小型でより高性能なモデルが得られることを示します。
リモート センシングのピクセル時系列データで事前トレーニングされたトランスフォーマー ベースのモデルである、事前トレーニング済みリモート センシング トランスフォーマー (Presto) を紹介します。
Presto は、世界中に分散されたさまざまなリモート センシング タスクに優れており、はるかに大規模なモデルよりも優れたパフォーマンスを発揮します。
Presto は転移学習や単純なモデルの特徴抽出に使用でき、大規模な効率的な展開が可能になります。

要約(オリジナル)

Machine learning algorithms for parsing remote sensing data have a wide range of societally relevant applications, but labels used to train these algorithms can be difficult or impossible to acquire. This challenge has spurred research into self-supervised learning for remote sensing data aiming to unlock the use of machine learning in geographies or application domains where labelled datasets are small. Current self-supervised learning approaches for remote sensing data draw significant inspiration from techniques applied to natural images. However, remote sensing data has important differences from natural images — for example, the temporal dimension is critical for many tasks and data is collected from many complementary sensors. We show that designing models and self-supervised training techniques specifically for remote sensing data results in both smaller and more performant models. We introduce the Pretrained Remote Sensing Transformer (Presto), a transformer-based model pre-trained on remote sensing pixel-timeseries data. Presto excels at a wide variety of globally distributed remote sensing tasks and outperforms much larger models. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google