W-MAE: Pre-trained weather model with masked autoencoder for multi-variable weather forecasting

要約

タイトル：W-MAE：マスクオートエンコーダーによる事前学習済みの気象予測モデル

要約：

– 気象予測は社会や経済に直接影響を及ぼす長年の計算的課題である。
– 深層学習モデルに高く適しているように、多量の連続データ収集と長期の時間的および空間的依存関係を示す。
– W-MAEという、マスクオートエンコーダー事前学習済みの複数変数気象予測モデルを提案している。
– W-MAEは、気象変数の空間的相関を再構築するために自己監督学習により事前学習される。時間的スケールでは、予測対象の気象変数の将来の状態を予測するために、事前学習されたW-MAEを微調整することにより、気象データに存在する時間的依存関係をモデリングする。
– W-MAEは、5世代ECMWF再解析（ERA5）データを使用して、データを6時間ごとに選択し、2年間のデータのみを使用して事前学習された。
– トレーニングデータ条件が同じ場合、W-MAEはFourCastNetよりも降水量予測で優れており、トレーニングデータがFourCastNetよりもはるかに少なくても降水量予測において圧倒的な性能を発揮する。
– 実験では、W-MAEモデルが短～中期予測（予測時間範囲が6時間から1週間のもの）において安定した有意な優位性を持ち、予測時間が長くなるにつれてW-MAEの性能がより明確になることが示された。

要約(オリジナル)

Weather forecasting is a long-standing computational challenge with direct societal and economic impacts. This task involves a large amount of continuous data collection and exhibits rich spatiotemporal dependencies over long periods, making it highly suitable for deep learning models. In this paper, we apply pre-training techniques to weather forecasting and propose W-MAE, a Weather model with Masked AutoEncoder pre-training for multi-variable weather forecasting. W-MAE is pre-trained in a self-supervised manner to reconstruct spatial correlations within meteorological variables. On the temporal scale, we fine-tune the pre-trained W-MAE to predict the future states of meteorological variables, thereby modeling the temporal dependencies present in weather data. We pre-train W-MAE using the fifth-generation ECMWF Reanalysis (ERA5) data, with samples selected every six hours and using only two years of data. Under the same training data conditions, we compare W-MAE with FourCastNet, and W-MAE outperforms FourCastNet in precipitation forecasting. In the setting where the training data is far less than that of FourCastNet, our model still performs much better in precipitation prediction (0.80 vs. 0.98). Additionally, experiments show that our model has a stable and significant advantage in short-to-medium-range forecasting (i.e., forecasting time ranges from 6 hours to one week), and the longer the prediction time, the more evident the performance advantage of W-MAE, further proving its robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI