Inductive biases in deep learning models for weather prediction

要約

ディープラーニングは、複雑な地球システムプロセスの純粋にデータ駆動型のモデルを定式化できるため、地球科学において非常に人気を得ています。
ディープラーニングベースの天気予測 (DLWP) モデルはここ数年で大幅に進歩し、比較的少ない計算コストで確立された数値天気予測モデルに匹敵する予測スキルを達成しました。
数百万のパラメーターを使用して正確で信頼性が高く扱いやすい DLWP モデルをトレーニングするには、データとモデル化されたプロセスに関する構造的な仮定をエンコードする適切な帰納的バイアスをモデル設計に組み込む必要があります。
これらのバイアスを適切に選択すると、より迅速な学習と、目に見えないデータに対するより適切な一般化が可能になります。
帰納的バイアスは DLWP モデルの成功において重要な役割を果たしますが、明示的に述べられていないことが多く、モデルのパフォーマンスへの寄与は不明のままです。
ここでは、データ選択、学習目標、損失関数、アーキテクチャ、最適化方法という 5 つの主要な設計要素に関して、最先端の DLWP モデルの帰納的バイアスをレビューおよび分析します。
私たちは最も重要な帰納的バイアスを特定し、より効率的で確率的な DLWP モデルに向けた潜在的な手段を強調します。

要約(オリジナル)

Deep learning has gained immense popularity in the Earth sciences as it enables us to formulate purely data-driven models of complex Earth system processes. Deep learning-based weather prediction (DLWP) models have made significant progress in the last few years, achieving forecast skills comparable to established numerical weather prediction models with comparatively lesser computational costs. In order to train accurate, reliable, and tractable DLWP models with several millions of parameters, the model design needs to incorporate suitable inductive biases that encode structural assumptions about the data and the modelled processes. When chosen appropriately, these biases enable faster learning and better generalisation to unseen data. Although inductive biases play a crucial role in successful DLWP models, they are often not stated explicitly and their contribution to model performance remains unclear. Here, we review and analyse the inductive biases of state-of-the-art DLWP models with respect to five key design elements: data selection, learning objective, loss function, architecture, and optimisation method. We identify the most important inductive biases and highlight potential avenues towards more efficient and probabilistic DLWP models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google