W-MAE: Pre-trained weather model with masked autoencoder for multi-variable weather forecasting

要約

天気予報は、社会的および経済的影響を直接もたらす長年にわたる計算上の課題です。
このタスクには大量の継続的なデータ収集が含まれ、長期間にわたって豊富な時空間依存関係が示されるため、深層学習モデルに非常に適しています。
この論文では、事前トレーニング技術を天気予報に適用し、天気予報用のマスクされた AutoEncoder 事前トレーニングを備えた気象モデルである W-MAE を提案します。
W-MAE は、気象変数内の空間相関を再構築するために、自己教師ありの方法で事前トレーニングされています。
時間スケールでは、事前トレーニングされた W-MAE を微調整して気象変数の将来の状態を予測し、それによって気象データに存在する時間依存性をモデル化します。
私たちは第 5 世代 ECMWF 再解析 (ERA5) データを使用して実験を行い、6 時間ごとにサンプルを選択します。
実験結果は、当社の W-MAE フレームワークが 3 つの重要な利点を提供することを示しています。 1) 気象変数の将来の状態を予測する場合、事前トレーニングされた W-MAE を利用すると、予測における累積誤差の問題を効果的に軽減でき、安定したパフォーマンスを維持できます。
短期から中期。
2) 診断変数 (総降水量など) を予測する場合、私たちのモデルは FourCastNet よりもパフォーマンスに大きな利点を示します。
3) タスクに依存しない事前トレーニング スキーマは、さまざまなタスク固有のモデルと簡単に統合できます。
当社の事前トレーニング フレームワークを FourCastNet に適用すると、異常相関係数 (ACC) のパフォーマンスが平均 20% 向上します。

要約(オリジナル)

Weather forecasting is a long-standing computational challenge with direct societal and economic impacts. This task involves a large amount of continuous data collection and exhibits rich spatiotemporal dependencies over long periods, making it highly suitable for deep learning models. In this paper, we apply pre-training techniques to weather forecasting and propose W-MAE, a Weather model with Masked AutoEncoder pre-training for weather forecasting. W-MAE is pre-trained in a self-supervised manner to reconstruct spatial correlations within meteorological variables. On the temporal scale, we fine-tune the pre-trained W-MAE to predict the future states of meteorological variables, thereby modeling the temporal dependencies present in weather data. We conduct our experiments using the fifth-generation ECMWF Reanalysis (ERA5) data, with samples selected every six hours. Experimental results show that our W-MAE framework offers three key benefits: 1) when predicting the future state of meteorological variables, the utilization of our pre-trained W-MAE can effectively alleviate the problem of cumulative errors in prediction, maintaining stable performance in the short-to-medium term; 2) when predicting diagnostic variables (e.g., total precipitation), our model exhibits significant performance advantages over FourCastNet; 3) Our task-agnostic pre-training schema can be easily integrated with various task-specific models. When our pre-training framework is applied to FourCastNet, it yields an average 20% performance improvement in Anomaly Correlation Coefficient (ACC).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google