ExEBench: Benchmarking Foundation Models on Extreme Earth Events

要約

私たちの惑星は、ますます頻繁な極端な出来事に直面しており、人間の生活と生態系に大きなリスクをもたらしています。
機械学習（ML）の最近の進歩、特に大規模なデータセットで訓練された基礎モデル（FMS）、機能の抽出に優れており、災害管理の可能性を示しています。
それにもかかわらず、これらのモデルはしばしばトレーニングデータからバイアスを継承し、極端な価値に対するパフォーマンスに挑戦します。
極端なイベントのコンテキストでFMの信頼性を調査するために、\ textbf {exe}ベンチ（\ textbf {ex} treme \ textbf {e} arthベンチマーク）を紹介します。
データセットには、さまざまな空間、時間、およびスペクトルの特性を持つ、グローバルなカバレッジ、さまざまなデータボリューム、多様なデータソースがあります。
FMSの実際の影響を広げるために、極端なイベントの検出、監視、予測において、運用上のニーズと密接に整合する複数の挑戦的なMLタスクを含めます。
Exebenchの目的は、（1）多様でインパクトのあるタスクとドメイン全体のFMの一般化可能性を評価することを目的としています。（2）災害管理に利益をもたらす新しいML方法の開発を促進し、（3）極端なイベントの相互作用とカスケード効果を分析するためのプラットフォームを提供して、特に極端なイベントの理解を促進するためのプラットフォームを提供します。
データセットとコードは、public https://github.com/zhaoshan2/earthextreme-benchです。

要約(オリジナル)

Our planet is facing increasingly frequent extreme events, which pose major risks to human lives and ecosystems. Recent advances in machine learning (ML), especially with foundation models (FMs) trained on extensive datasets, excel in extracting features and show promise in disaster management. Nevertheless, these models often inherit biases from training data, challenging their performance over extreme values. To explore the reliability of FM in the context of extreme events, we introduce \textbf{ExE}Bench (\textbf{Ex}treme \textbf{E}arth Benchmark), a collection of seven extreme event categories across floods, wildfires, storms, tropical cyclones, extreme precipitation, heatwaves, and cold waves. The dataset features global coverage, varying data volumes, and diverse data sources with different spatial, temporal, and spectral characteristics. To broaden the real-world impact of FMs, we include multiple challenging ML tasks that are closely aligned with operational needs in extreme events detection, monitoring, and forecasting. ExEBench aims to (1) assess FM generalizability across diverse, high-impact tasks and domains, (2) promote the development of novel ML methods that benefit disaster management, and (3) offer a platform for analyzing the interactions and cascading effects of extreme events to advance our understanding of Earth system, especially under the climate change expected in the decades to come. The dataset and code are public https://github.com/zhaoshan2/EarthExtreme-Bench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google