Foundation Models for Generalist Geospatial Artificial Intelligence

要約

適応性と再利用性が高い人工知能 (AI) モデルの開発における大きな進歩は、地球科学とリモート センシングに大きな影響を与えると予想されます。
基礎モデルは自己監視を通じて大規模なラベルなしデータセットで事前トレーニングされ、その後、小規模なラベル付きデータセットを使用してさまざまな下流タスクに合わせて微調整されます。
このペーパーでは、広範な地理空間データに対する基礎モデルの効率的な事前トレーニングと微調整のための、他に類を見ないフレームワークを紹介します。
私たちはこのフレームワークを利用して、Harmonized Landsat-Sentinel 2 (HLS) データセットからの 1 TB 以上のマルチスペクトル衛星画像で事前トレーニングされたトランスフォーマー ベースの地理空間基礎モデルである Prithvi を作成しました。
私たちの研究は、多時間雲ギャップ代入、洪水マッピング、山火事跡のセグメンテーション、および複数の時間的雲ギャップ代入、洪水マッピング、および複数の要素を含む基礎モデルに関するこれまでの研究では取り組まれなかった、さまざまな地球観測タスクに合わせて Prithvi をうまく微調整する上で、私たちのフレームワークの有効性を実証しています。
時間的なクロップセグメンテーション。
私たちの実験では、ランダムに初期化された重みを利用する場合と比較して、事前トレーニングされたモデルの方が微調整プロセスが高速化されることが示されています。
さらに、事前トレーニングされた Prithvi は、最先端のモデルと比較して優れており、たとえば、構造類似性指数において、多時間クラウド代入において条件付き GAN モデルを最大 5pp (または 5.7%) 上回っています。
最後に、地球観測の分野では利用可能なラベル付きデータが限られているため、モデルを改良してデータ効率を評価するために利用可能なラベル付きデータの量を徐々に減らし、モデルの精度に影響を与えることなくデータを大幅に削減できることを実証します。
事前トレーニングされた 1 億パラメータ モデルとそれに対応する微調整ワークフローは、Hugging Face を通じて世界の地球科学コミュニティへのオープンソース貢献として公開されました。

要約(オリジナル)

Significant progress in the development of highly adaptable and reusable Artificial Intelligence (AI) models is expected to have a significant impact on Earth science and remote sensing. Foundation models are pre-trained on large unlabeled datasets through self-supervision, and then fine-tuned for various downstream tasks with small labeled datasets. This paper introduces a first-of-a-kind framework for the efficient pre-training and fine-tuning of foundational models on extensive geospatial data. We have utilized this framework to create Prithvi, a transformer-based geospatial foundational model pre-trained on more than 1TB of multispectral satellite imagery from the Harmonized Landsat-Sentinel 2 (HLS) dataset. Our study demonstrates the efficacy of our framework in successfully fine-tuning Prithvi to a range of Earth observation tasks that have not been tackled by previous work on foundation models involving multi-temporal cloud gap imputation, flood mapping, wildfire scar segmentation, and multi-temporal crop segmentation. Our experiments show that the pre-trained model accelerates the fine-tuning process compared to leveraging randomly initialized weights. In addition, pre-trained Prithvi compares well against the state-of-the-art, e.g., outperforming a conditional GAN model in multi-temporal cloud imputation by up to 5pp (or 5.7%) in the structural similarity index. Finally, due to the limited availability of labeled data in the field of Earth observation, we gradually reduce the quantity of available labeled data for refining the model to evaluate data efficiency and demonstrate that data can be decreased significantly without affecting the model’s accuracy. The pre-trained 100 million parameter model and corresponding fine-tuning workflows have been released publicly as open source contributions to the global Earth sciences community through Hugging Face.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google