PhilEO Bench: Evaluating Geo-Spatial Foundation Models

要約

大量のラベルなしデータが地球観測 (EO) 衛星によって捕捉され、Sentinel-2 衛星群では毎日 1.6 TB のデータが生成されます。
これにより、リモート センシングは、機械学習 (ML) ソリューションに適したデータが豊富なドメインになります。
ただし、ML モデルを EO に適用する際のボトルネックは、アノテーションは労働集約的でコストのかかるプロセスであるため、アノテーション付きデータが不足していることです。
その結果、この分野の研究は自己教師あり学習と基礎モデルのアプローチに焦点を当ててきました。
このペーパーでは、EO 基盤モデルの新しい評価フレームワークである PhilEO ベンチを導入することで、さまざまな基盤モデルを公平かつ均一なベンチマークで評価する必要性に対処します。
このフレームワークは、テストベッドと、建物密度推定、道路セグメンテーション、土地被覆分類という 3 つの下流タスクのラベルを含む新しい 400 GB Sentinel-2 データセットで構成されています。
Prithvi や SatMAE などのさまざまな基盤モデルを複数の n ショットと収束速度で評価するフレームワークを使用した実験を紹介します。

要約(オリジナル)

Massive amounts of unlabelled data are captured by Earth Observation (EO) satellites, with the Sentinel-2 constellation generating 1.6 TB of data daily. This makes Remote Sensing a data-rich domain well suited to Machine Learning (ML) solutions. However, a bottleneck in applying ML models to EO is the lack of annotated data as annotation is a labour-intensive and costly process. As a result, research in this domain has focused on Self-Supervised Learning and Foundation Model approaches. This paper addresses the need to evaluate different Foundation Models on a fair and uniform benchmark by introducing the PhilEO Bench, a novel evaluation framework for EO Foundation Models. The framework comprises of a testbed and a novel 400 GB Sentinel-2 dataset containing labels for three downstream tasks, building density estimation, road segmentation, and land cover classification. We present experiments using our framework evaluating different Foundation Models, including Prithvi and SatMAE, at multiple n-shots and convergence rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google