Galileo: Learning Global and Local Features in Pretrained Remote Sensing Models

要約

作物のマッピングから洪水の検出まで、リモートセンシングの機械学習には、社会的に有益なアプリケーションの幅広いアプリケーションがあります。
これらのアプリケーションでのリモートセンシングデータ間の共通性は、リモートセンシングに合わせて調整された前提条件の機械学習モデルの機会を提供し、個々のタスクを解決するために必要なラベル付きデータと努力を削減します。
ただし、そのようなモデルは次のものでなければなりません。（i）さまざまなセンサーのモダリティと形状（つまり、さまざまな空間的および時間的寸法の）の入力データを摂取するのに十分な柔軟性、および（ii）さまざまなスケールとタイプの地球表面現象をモデル化できる。
このギャップを解決するために、マルチモーダルのリモートセンシングデータを柔軟に処理するように設計された、前処理されたリモートセンシングモデルのファミリーであるGalileoを紹介します。
また、以前のモデルでは対処されていない課題である、大規模および小規模な機能の両方を学ぶために、斬新で非常に効果的な自己監視学習アプローチを紹介します。
ガリレオモデルは、多様なリモートセンシングタスク全体で最先端の結果を得ています。

要約(オリジナル)

From crop mapping to flood detection, machine learning in remote sensing has a wide range of societally beneficial applications. The commonalities between remote sensing data in these applications present an opportunity for pretrained machine learning models tailored to remote sensing to reduce the labeled data and effort required to solve individual tasks. However, such models must be: (i) flexible enough to ingest input data of varying sensor modalities and shapes (i.e., of varying spatial and temporal dimensions), and (ii) able to model Earth surface phenomena of varying scales and types. To solve this gap, we present Galileo, a family of pretrained remote sensing models designed to flexibly process multimodal remote sensing data. We also introduce a novel and highly effective self-supervised learning approach to learn both large- and small-scale features, a challenge not addressed by previous models. Our Galileo models obtain state-of-the-art results across diverse remote sensing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google