Efficient fine-tuning of 37-level GraphCast with the Canadian global deterministic analysis

要約

この作業では、グラフキャストデータ駆動型の予測モデルを効率的に微調整して、別の分析システムをシミュレートするプロセスについて説明します。ここでは、環境および気候変動カナダ（ECCC）のグローバルな決定論的予測システム（GDP）です。
2年間のトレーニングデータ（2019年7月 – 2021年12月）と37 GPUの計算日を使用して、37レベルの4分の1のグラフキャストバージョンをチューニングします。
この微調整は、グラフキャストのためのDeepMindの元のトレーニングカリキュラムを略して、より短いシングルステップ予測段階に依存して、適応作業の大部分を達成し、独立した12時間、1D、2D、および3Dステージをより大きな学習レートで統合することで達成されます。
さらに、3D予測を介したトレーニングは2つのサブステップに分割され、ホストメモリを保存しながら、全期間にわたってトレーニングとの強い相関関係を維持します。

要約(オリジナル)

This work describes a process for efficiently fine-tuning the GraphCast data-driven forecast model to simulate another analysis system, here the Global Deterministic Prediction System (GDPS) of Environment and Climate Change Canada (ECCC). Using two years of training data (July 2019 — December 2021) and 37 GPU-days of computation to tune the 37-level, quarter-degree version of GraphCast, the resulting model significantly outperforms both the unmodified GraphCast and operational forecast, showing significant forecast skill in the troposphere over lead times from 1 to 10 days. This fine-tuning is accomplished through abbreviating DeepMind’s original training curriculum for GraphCast, relying on a shorter single-step forecast stage to accomplish the bulk of the adaptation work and consolidating the autoregressive stages into separate 12hr, 1d, 2d, and 3d stages with larger learning rates. Additionally, training over 3d forecasts is split into two sub-steps to conserve host memory while maintaining a strong correlation with training over the full period.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google