TerraFM: A Scalable Foundation Model for Unified Multisensor Earth Observation

要約

現代の地球観測（EO）は、センサーと地域全体で衛星画像のスケールと多様性を活用するために、ますます深い学習を活用しています。
最近の基礎モデルはEOタスク全体の有望な一般化を実証していますが、多くはトレーニングデータの規模、地理的カバレッジ、およびスペクトルの多様性によって制限されたままです。
この作業では、グローバルに分散したSentinel-1およびSentinel-2画像を活用して、大規模な空間タイルを組み合わせたスケーラブルな自己監視学習モデルであるTerraFMを紹介し、空間およびセマンティックカバレッジを豊かにするための土地被覆意識サンプリングを紹介します。
センシングモダリティを自己監視アプローチの自然な増強として扱うことにより、モダリティ固有のパッチ埋め込みと適応的な交差融合融合を介して、レーダーと光学入力を統合します。
当社のトレーニング戦略は、ローカルグローバルコントラスト学習を統合し、クラス周波数対応の正規化を組み込んで土地被覆の長期尾の分布に対処するデュアル中心メカニズムを導入します。TerraFMは、分類およびセグメンテーションタスクの両方で強力な一般化を達成し、ジオベンチとコペルニクスベンチの以前のモデルを上回っています。
当社のコードモデルと前処理されたモデルは、https：//github.com/mbzuai-oryx/terrafmで公開されています。

要約(オリジナル)

Modern Earth observation (EO) increasingly leverages deep learning to harness the scale and diversity of satellite imagery across sensors and regions. While recent foundation models have demonstrated promising generalization across EO tasks, many remain limited by the scale, geographical coverage, and spectral diversity of their training data, factors critical for learning globally transferable representations. In this work, we introduce TerraFM, a scalable self-supervised learning model that leverages globally distributed Sentinel-1 and Sentinel-2 imagery, combined with large spatial tiles and land-cover aware sampling to enrich spatial and semantic coverage. By treating sensing modalities as natural augmentations in our self-supervised approach, we unify radar and optical inputs via modality-specific patch embeddings and adaptive cross-attention fusion. Our training strategy integrates local-global contrastive learning and introduces a dual-centering mechanism that incorporates class-frequency-aware regularization to address long-tailed distributions in land cover.TerraFM achieves strong generalization on both classification and segmentation tasks, outperforming prior models on GEO-Bench and Copernicus-Bench. Our code and pretrained models are publicly available at: https://github.com/mbzuai-oryx/TerraFM .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google