Online Calibration of Deep Learning Sub-Models for Hybrid Numerical Modeling Systems

要約

人工知能と深層学習は現在、新しいモデリング機能を導入することで数値シミュレーションのフレームワークを再構築しています。
これらのフレームワークは、モデルの修正とパラメーター化のコンテキストで広範囲に調査されており、大きな可能性が実証され、多くの場合、従来の物理モデルを上回ります。
ハイブリッド動的システムを定義するこれらの取り組みのほとんどは、理想的な補正を出力するようにニューラル パラメーター化 (ここではサブモデルと呼ぶ) をトレーニングする、{オフライン} 学習戦略に従います。
しかし、これらのハイブリッド モデルは、適切な予測パフォーマンスにつながる関連するサブモデル応答を定義する際に、厳しい制限に直面する可能性があります。
オンライン学習とも呼ばれるエンドツーエンド学習スキームは、ディープラーニングのサブモデルが履歴データでトレーニングできるようにすることで、このような欠点に対処できます。
ただし、ハイブリッド システムでニューラル サブモデルを校正するためのエンドツーエンドのトレーニング スキームを定義するには、物理​​方程式のソルバーを含む最適化問題を扱う必要があります。
したがって、オンライン学習方法論では数値モデルが微分可能である必要がありますが、これはほとんどのモデリング システムには当てはまりません。
この困難を克服し、物理モデルの微分可能性の課題を回避するために、ハイブリッド システム向けの効率的で実用的なオンライン学習アプローチを紹介します。
オイラー勾配近似の EGA と呼ばれるこの方法は、物理モデルに対する追加のニューラル補正と、勾配の明示的なオイラー近似を前提としています。
EGA が無限に小さいタイム ステップの制限内で正確な勾配に収束することを示します。
数値実験は、典型的な海洋大気力学を含むさまざまなケーススタディで実行されます。
結果はオフライン学習に比べて大幅な改善を示し、ハイブリッド モデリングにおけるエンドツーエンドのオンライン学習の可能性を強調しています。

要約(オリジナル)

Artificial intelligence and deep learning are currently reshaping numerical simulation frameworks by introducing new modeling capabilities. These frameworks are extensively investigated in the context of model correction and parameterization where they demonstrate great potential and often outperform traditional physical models. Most of these efforts in defining hybrid dynamical systems follow {offline} learning strategies in which the neural parameterization (called here sub-model) is trained to output an ideal correction. Yet, these hybrid models can face hard limitations when defining what should be a relevant sub-model response that would translate into a good forecasting performance. End-to-end learning schemes, also referred to as online learning, could address such a shortcoming by allowing the deep learning sub-models to train on historical data. However, defining end-to-end training schemes for the calibration of neural sub-models in hybrid systems requires working with an optimization problem that involves the solver of the physical equations. Online learning methodologies thus require the numerical model to be differentiable, which is not the case for most modeling systems. To overcome this difficulty and bypass the differentiability challenge of physical models, we present an efficient and practical online learning approach for hybrid systems. The method, called EGA for Euler Gradient Approximation, assumes an additive neural correction to the physical model, and an explicit Euler approximation of the gradients. We demonstrate that the EGA converges to the exact gradients in the limit of infinitely small time steps. Numerical experiments are performed on various case studies, including prototypical ocean-atmosphere dynamics. Results show significant improvements over offline learning, highlighting the potential of end-to-end online learning for hybrid modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google