Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

要約

タイトル：軽量な事前学習済みトランスフォーマーによるリモートセンシングタイムシリーズ処理
要約：

– リモートセンシングデータを処理する機械学習アルゴリズムは、社会的に重要なアプリケーションが広がっているが、その訓練用のラベルは入手が困難である場合がある。
– この課題を解決するために、自己教師あり学習技術を開発する研究が進展している。
– 現在のリモートセンシングデータの自己教師あり学習アプローチは、自然画像の技術から多大なインスピレーションを受けている。
– しかし、リモートセンシングデータは自然画像とは異なり、時間的次元が重要であり、多くの補完センサーからデータを収集する必要がある。
– リモートセンシングデータに特化したモデルおよび自己教師あり学習技術を設計することにより、より小さく、より高性能なモデルを作成できる。
– 本研究では、リモートセンシングピクセルタイムシリーズデータで事前学習されたTransformerベースのモデル、Pretrained Remote Sensing Transformer（Presto）を提案する。
– Prestoは、世界中のさまざまなリモートセンシングタスクで優れた性能を発揮し、はるかに大きなモデルを上回る。
– Prestoは、転移学習または簡単なモデルの特徴抽出器として使用できるため、効率的な展開が可能。

要約(オリジナル)

Machine learning algorithms for parsing remote sensing data have a wide range of societally relevant applications, but labels used to train these algorithms can be difficult or impossible to acquire. This challenge has spurred research into self-supervised learning for remote sensing data aiming to unlock the use of machine learning in geographies or application domains where labelled datasets are small. Current self-supervised learning approaches for remote sensing data draw significant inspiration from techniques applied to natural images. However, remote sensing data has important differences from natural images — for example, the temporal dimension is critical for many tasks and data is collected from many complementary sensors. We show that designing models and self-supervised training techniques specifically for remote sensing data results in both smaller and more performant models. We introduce the Pretrained Remote Sensing Transformer (Presto), a transformer-based model pre-trained on remote sensing pixel-timeseries data. Presto excels at a wide variety of globally distributed remote sensing tasks and outperforms much larger models. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI