AnySat: One Earth Observation Model for Many Resolutions, Scales, and Modalities

要約

地理空間モデルは、解像度、スケール、およびモダリティの観点から、地球観測データの多様性に適応する必要があります。
ただし、既存のアプローチでは、固定された入力構成が期待されており、実際の適用性が制限されます。
AnySATを提案します。AnySATは、ジョイントの埋め込み予測アーキテクチャ（JEPA）とスケール適応空間エンコーダに基づいたマルチモーダルモデルであり、非常に不均一なデータに関する単一のモデルを自己補助的な方法でトレーニングできるようにします。
この統一されたアプローチの利点を示すために、さまざまな特性と11ドルの異なるセンサーを備えた5つのマルチモーダルデータセットのコレクションであるGeoPlexをコンパイルします。
次に、これらの多様なデータセットで同時に単一の強力なモデルをトレーニングします。
微調整またはプローブされたら、陸地カバーマッピング、樹木種の識別、作物の種類の分類、変化の検出、気候タイプの分類、洪水のセグメンテーション、燃焼スカー、および腐敗など、さまざまな環境監視タスクにわたるジェオペックスのテストセットと6つの外部データセットの最先端の結果に達します。
コードとモデルは、https：//github.com/gastruc/anysatで入手できます。

要約(オリジナル)

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and scale-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and $11$ distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned or probed, we reach state-of-the-art results on the test sets of GeoPlex and for 6 external datasets across various environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, climate type classification, and segmentation of flood, burn scar, and deforestation. The code and models are available at https://github.com/gastruc/AnySat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google