$h$-analysis and data-parallel physics-informed neural networks

要約

複数のグラフィックス プロセッシング ユニット (GPU) アーキテクチャ用の物理情報に基づくニューラル ネットワーク (PINN) に焦点を当てて、物理情報に基づく機械学習 (PIML) スキームのデータ並列アクセラレーションを調査します。
多数のトレーニング ポイントを必要とする可能性のある高度なアプリケーション (たとえば、複雑で高次元のドメイン、非線形演算子、またはマルチフィジックスを含む) 向けのスケールロバストな PIML モデルを開発するために、以下に基づくプロトコルを詳述します。
Horovod トレーニング フレームワーク。
このプロトコルは、一般化エラーの新しい収束境界を含む $h$-analysis によって支えられています。
アクセラレーションは簡単に実装でき、トレーニングを妥協せず、非常に効率的であることが証明されており、汎用的なスケールロバスト PIML への道が開かれています。
複雑さが増している広範な数値実験は、その堅牢性と一貫性を示しており、現実世界のシミュレーションに幅広い可能性を提供しています。

要約(オリジナル)

We explore the data-parallel acceleration of physics-informed machine learning (PIML) schemes, with a focus on physics-informed neural networks (PINNs) for multiple graphics processing units (GPUs) architectures. In order to develop scale-robust PIML models for sophisticated applications (e.g., involving complex and high-dimensional domains, non-linear operators or multi-physics), which may require a large number of training points, we detail a protocol based on the Horovod training framework. This protocol is backed by $h$-analysis, including a new convergence bound for the generalization error. We show that the acceleration is straightforward to implement, does not compromise training, and proves to be highly efficient, paving the way towards generic scale-robust PIML. Extensive numerical experiments with increasing complexity illustrate its robustness and consistency, offering a wide range of possibilities for real-world simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google