Training Deep Surrogate Models with Large Scale Online Learning

要約

偏微分方程式 (PDE) の時空間分解能は、世界の物理現象の数学的記述において重要な役割を果たします。
一般に、科学者やエンジニアは、計算負荷の高いソルバーを使用して偏微分方程式を数値的に解きます。
最近、深層学習アルゴリズムが、偏微分方程式の高速解を取得するための実行可能な代替手段として登場しました。
モデルは通常、ソルバーによって生成された合成データに基づいてトレーニングされ、ディスクに保存され、トレーニングのために読み取られます。
この論文では、これらのモデルをトレーニングするために従来の静的データセットに依存すると、ソルバーの利点をデータ ジェネレーターとして最大限に活用できないと主張します。
これは、ディープ サロゲート モデル用のオープンソース オンライン トレーニング フレームワークを提案します。
このフレームワークは、数値シミュレーションの生成とディープ ニューラル ネットワークのトレーニングを同時に行うことに重点を置いた、いくつかのレベルの並列処理を実装します。
このアプローチにより、ディスクに読み込まれたデータセットに関連する I/O およびストレージのボトルネックが抑制され、非常に大規模なデータセットでのトレーニングへの道が開かれます。
実験では、最先端のアーキテクチャを含む 4 つの代理モデルのオフライン トレーニングとオンライン トレーニングを比較します。
結果は、深いサロゲート モデルを最大数百 GB までのより多くのデータセットの多様性に公開すると、モデルの一般化機能が向上する可能性があることを示しています。
完全に接続されたニューラル ネットワーク、フーリエ ニューラル オペレーター (FNO)、およびメッセージ パッシング PDE ソルバーの予測精度は、それぞれ 68%、16%、7% 向上しました。

要約(オリジナル)

The spatiotemporal resolution of Partial Differential Equations (PDEs) plays important roles in the mathematical description of the world’s physical phenomena. In general, scientists and engineers solve PDEs numerically by the use of computationally demanding solvers. Recently, deep learning algorithms have emerged as a viable alternative for obtaining fast solutions for PDEs. Models are usually trained on synthetic data generated by solvers, stored on disk and read back for training. This paper advocates that relying on a traditional static dataset to train these models does not allow the full benefit of the solver to be used as a data generator. It proposes an open source online training framework for deep surrogate models. The framework implements several levels of parallelism focused on simultaneously generating numerical simulations and training deep neural networks. This approach suppresses the I/O and storage bottleneck associated with disk-loaded datasets, and opens the way to training on significantly larger datasets. Experiments compare the offline and online training of four surrogate models, including state-of-the-art architectures. Results indicate that exposing deep surrogate models to more dataset diversity, up to hundreds of GB, can increase model generalization capabilities. Fully connected neural networks, Fourier Neural Operator (FNO), and Message Passing PDE Solver prediction accuracy is improved by 68%, 16% and 7%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google