AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

要約

地理空間モデルは、解像度、スケール、モダリティの観点から地球観測データの多様性に適応する必要があります。
ただし、既存のアプローチは固定入力構成を想定しているため、実際の適用性が制限されます。
私たちは、結合埋め込み予測アーキテクチャ (JEPA) と解像度適応型空間エンコーダーに基づいたマルチモーダル モデルである AnySat を提案します。これにより、高度に異質なデータに対して自己教師付きの方法で単一のモデルをトレーニングできるようになります。
この統合アプローチの利点を実証するために、さまざまな特性と 11 ドルの個別のセンサーを備えた 5 ドルのマルチモーダル データセットのコレクションである GeoPlex をコンパイルしました。
次に、これらの多様なデータセットで単一の強力なモデルを同時にトレーニングします。
微調整が完了すると、GeoPlex のデータセットでより優れた、または最先端に近い結果が得られます。また、土地被覆マッピング、樹種の識別、作物の種類の分類、変化検出、
そしてフラッドセグメンテーション。
コードとモデルは https://github.com/gastruc/AnySat で入手できます。

要約(オリジナル)

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of $5$ multimodal datasets with varying characteristics and $11$ distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and $4$ additional ones for $5$ environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google