FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring

要約

森林は生態系に不可欠であり、生物多様性と本質的なサービスをサポートしていますが、土地利用と気候変動のために急速に変化しています。
否定的な影響を理解して緩和するには、幅広い感覚モダリティから世界規模の森林のデータを解析し、多様な森林監視アプリケーションでそれらを使用する必要があります。
このようなデータとアプリケーションの多様性は、さまざまなダウンストリームタスクの汎用性のある基盤として機能する、事前に訓練された大規模な基礎モデルの開発を通じて効果的に対処できます。
ただし、いくつかの森林管理タスクに優れたリモートセンシングモダリティは、環境条件、オブジェクトスケール、画像取得モード、時空間の解像度などの変動を考慮して特に困難です。
統一された森林監視ベンチマーク（FOMOベンチ）は、このような柔軟性を備えた基礎モデルを評価するために慎重に構築されています。
FOMOベンチは、さまざまな地理的領域をカバーする衛星、航空、および在庫データを含む15の多様なデータセットで構成され、さまざまな時間、空間、およびスペクトルの解像度を備えたマルチスペクトル、赤緑色、合成開口レーダー、ライダーデータを含みます。
FOMOベンチには、分類、セグメンテーション、およびオブジェクト検出にまたがる複数のタイプの森林監視タスクが含まれます。
FOMOベンチのタスクと地理的多様性を強化するために、衛星画像と1,000以上のカテゴリと階層分類レベルにわたる樹種分析の地上注釈を組み合わせたグローバルデータセットであるTallosを紹介します。
最後に、リモートセンシングで一般的に使用されるモダリティとスペクトルバンドの組み合わせを処理する能力を備えた基礎モデルを開発するための事前トレーニングフレームワークであるFOMO-NETを提案します。

要約(オリジナル)

Forests are vital to ecosystems, supporting biodiversity and essential services, but are rapidly changing due to land use and climate change. Understanding and mitigating negative effects requires parsing data on forests at global scale from a broad array of sensory modalities, and using them in diverse forest monitoring applications. Such diversity in data and applications can be effectively addressed through the development of a large, pre-trained foundation model that serves as a versatile base for various downstream tasks. However, remote sensing modalities, which are an excellent fit for several forest management tasks, are particularly challenging considering the variation in environmental conditions, object scales, image acquisition modes, spatio-temporal resolutions, etc. With that in mind, we present the first unified Forest Monitoring Benchmark (FoMo-Bench), carefully constructed to evaluate foundation models with such flexibility. FoMo-Bench consists of 15 diverse datasets encompassing satellite, aerial, and inventory data, covering a variety of geographical regions, and including multispectral, red-green-blue, synthetic aperture radar and LiDAR data with various temporal, spatial and spectral resolutions. FoMo-Bench includes multiple types of forest-monitoring tasks, spanning classification, segmentation, and object detection. To enhance task and geographic diversity in FoMo-Bench, we introduce TalloS, a global dataset combining satellite imagery with ground-based annotations for tree species classification across 1,000+ categories and hierarchical taxonomic levels. Finally, we propose FoMo-Net, a pre-training framework to develop foundation models with the capacity to process any combination of commonly used modalities and spectral bands in remote sensing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google