ChaosBench: A Multi-Channel, Physics-Based Benchmark for Subseasonal-to-Seasonal Climate Prediction

要約

亜季節から季節のスケールでの気候の正確な予測は、災害への備え、経済リスクの軽減、気候変動の中での政策立案の改善にとって極めて重要です。
しかし、システムの混沌とし​​た性質により、S2S 予測は依然として困難です。
現在、気象および気候アプリケーションの既存のベンチマークは、(1) 予測範囲が最大 14 日と短く、(2) 幅広い運用ベースライン予測が含まれておらず、(3) 物理ベースの制約が欠如している傾向があります。
説明可能性のために。
したがって、S2S 予測のための大規模なマルチチャネル物理ベースのベンチマークである ChaosBench を提案します。
ChaosBench には、実世界の観測とシミュレーションの 460,000 フレームを超えるフレームがあり、それぞれに 60 の可変チャネルがあり、最長 45 年間に及びます。
また、より物理的に一貫したモデルを可能にする、ビジョンベースのメトリクスに加えて、いくつかの物理ベースのメトリクスも提案します。
さらに、4 つの国立気象機関からのさまざまな物理ベースの予報を、データ主導型の対応するものへのベースラインとして含めています。
完全なダイナミクス予測とスパースなダイナミクス予測という、複雑さの異なる 2 つのタスクを確立します。
私たちのベンチマークは、PanguWeather、FourCastNetV2、GraphCast、ClimaX などの既存モデルに対して大規模な評価を実行した最初のベンチマークの 1 つであり、元々気象スケールのアプリケーション用に開発されたメソッドが S2S タスクで失敗することを発見しました。
ベンチマーク コードとデータセットは https://leap-stc.github.io/ChaosBench でリリースされます。

要約(オリジナル)

Accurate prediction of climate in the subseasonal-to-seasonal scale is crucial for disaster readiness, reduced economic risk, and improved policy-making amidst climate change. Yet, S2S prediction remains challenging due to the chaotic nature of the system. At present, existing benchmarks for weather and climate applications, tend to (1) have shorter forecasting range of up-to 14 days, (2) do not include a wide range of operational baseline forecasts, and (3) lack physics-based constraints for explainability. Thus, we propose ChaosBench, a large-scale, multi-channel, physics-based benchmark for S2S prediction. ChaosBench has over 460K frames of real-world observations and simulations, each with 60 variable-channels and spanning for up-to 45 years. We also propose several physics-based, in addition to vision-based metrics, that enables for a more physically-consistent model. Furthermore, we include a diverse set of physics-based forecasts from 4 national weather agencies as baselines to our data-driven counterpart. We establish two tasks that vary in complexity: full and sparse dynamics prediction. Our benchmark is one of the first to perform large-scale evaluation on existing models including PanguWeather, FourCastNetV2, GraphCast, and ClimaX, and finds methods originally developed for weather-scale applications fails on S2S task. We release our benchmark code and datasets at https://leap-stc.github.io/ChaosBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google