h-analysis and data-parallel physics-informed neural networks

要約

私たちは、複数のグラフィックス プロセッシング ユニット (GPU) アーキテクチャ用の物理情報に基づくニューラル ネットワーク (PINN) に焦点を当てて、物理情報に基づく機械学習 (PIML) スキームのデータ並列高速化を調査します。
多数のトレーニング ポイント (複雑で高次元のドメイン、非線形演算子、またはマルチフィジックスを含む) を必要とする可能性がある洗練されたアプリケーション向けに、スケール堅牢で高スループットの PIML モデルを開発するために、新しいモデルを詳しく説明します。
$h$ 分析と Horovod トレーニング フレームワークによるデータ並列アクセラレーションに基づくプロトコル。
このプロトコルは、一般化誤差とトレーニングとテストのギャップに対する新しい収束境界によって裏付けられています。
アクセラレーションは実装が簡単で、トレーニングに妥協せず、非常に効率的で制御可能であることが証明され、汎用スケール堅牢な PIML への道が開かれることを示します。
複雑さを増す広範な数値実験により、その堅牢性と一貫性が実証され、現実世界のシミュレーションに幅広い可能性が提供されます。

要約(オリジナル)

We explore the data-parallel acceleration of physics-informed machine learning (PIML) schemes, with a focus on physics-informed neural networks (PINNs) for multiple graphics processing units (GPUs) architectures. In order to develop scale-robust and high-throughput PIML models for sophisticated applications which may require a large number of training points (e.g., involving complex and high-dimensional domains, non-linear operators or multi-physics), we detail a novel protocol based on $h$-analysis and data-parallel acceleration through the Horovod training framework. The protocol is backed by new convergence bounds for the generalization error and the train-test gap. We show that the acceleration is straightforward to implement, does not compromise training, and proves to be highly efficient and controllable, paving the way towards generic scale-robust PIML. Extensive numerical experiments with increasing complexity illustrate its robustness and consistency, offering a wide range of possibilities for real-world simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google