The impact of internal variability on benchmarking deep learning climate emulators

要約

完全複雑さのアースシステムモデル（ESM）は計算的に非常に高価であり、複数の排出経路の気候の結果を調査する際の使用を制限しています。
ESMを近似するより効率的なエミュレーターは、排出量を気候転帰に直接マッピングでき、ベンチマークが標準化されたタスクとデータセットの精度を評価するために使用されています。
データ駆動型の気候エミュレーションであるClimateBenchの一般的なベンチマークを調査します。このベンチは、深い学習ベースのエミュレーターが現在最高のパフォーマンスを達成しています。
これらの深い学習エミュレータを、パターンスケーリングに似た線形回帰ベースのエミュレーターと比較し、既存の100mパラメーターディープラーニングファンデーションモデルであるクライマックスを、地域的に分解した4つの気候変数、特に表面温度と降水量の3で上にします。
表面温度をエミュレートすることは主に直線的であると予想されますが、この結果は降水量をエミュレートすることで驚くべきことです。
降水量ははるかに騒々しい変数であり、深い学習エミュレータが低周波数で内部変動ノイズに過剰に促進できることを示し、線形エミュレータと比較してパフォーマンスを低下させます。
排出経路あたりの気候シミュレーションの数を増やし（3〜50）、MPI-ESM1.2-LRモデルのそれぞれのアンサンブル平均を使用してベンチマークターゲットを更新することにより、過剰適合の問題に対処します。
新しいターゲットを使用して、線形パターンのスケーリングは温度でより正確であり続けることを示していますが、降水をエミュレートするための深い学習ベースの手法によってアウトパフォームすることができることを示します。
github.com/blutjens/climate-emulatorでコードとデータを公開しています。

要約(オリジナル)

Full-complexity Earth system models (ESMs) are computationally very expensive, limiting their use in exploring the climate outcomes of multiple emission pathways. More efficient emulators that approximate ESMs can directly map emissions onto climate outcomes, and benchmarks are being used to evaluate their accuracy on standardized tasks and datasets. We investigate a popular benchmark in data-driven climate emulation, ClimateBench, on which deep learning-based emulators are currently achieving the best performance. We compare these deep learning emulators with a linear regression-based emulator, akin to pattern scaling, and show that it outperforms the incumbent 100M-parameter deep learning foundation model, ClimaX, on 3 out of 4 regionally-resolved climate variables, notably surface temperature and precipitation. While emulating surface temperature is expected to be predominantly linear, this result is surprising for emulating precipitation. Precipitation is a much more noisy variable, and we show that deep learning emulators can overfit to internal variability noise at low frequencies, degrading their performance in comparison to a linear emulator. We address the issue of overfitting by increasing the number of climate simulations per emission pathway (from 3 to 50) and updating the benchmark targets with the respective ensemble averages from the MPI-ESM1.2-LR model. Using the new targets, we show that linear pattern scaling continues to be more accurate on temperature, but can be outperformed by a deep learning-based technique for emulating precipitation. We publish our code and data at github.com/blutjens/climate-emulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google