Enhancing training of physics-informed neural networks using domain-decomposition based preconditioning strategies

要約

私たちは、物理情報に基づいたニューラル ネットワーク (PINN) のトレーニングを強化することを提案します。
この目的のために、広く使用されている L-BFGS オプティマイザーに非線形の加算および乗算の事前調整戦略を導入します。
非線形プリコンディショナーは、ネットワークのパラメーターが層ごとに分解される Schwarz ドメイン分解フレームワークを利用して構築されます。
一連の数値実験を通じて、加法的前処理と乗法的前処理の両方が、基礎となる偏微分方程式のより正確な解を提供しながら、標準 L-BFGS オプティマイザーの収束を大幅に改善することを実証しました。
さらに、追加のプリコンディショナーは本質的に並列であるため、モデルの並列処理に対する新しいアプローチが生まれます。

要約(オリジナル)

We propose to enhance the training of physics-informed neural networks (PINNs). To this aim, we introduce nonlinear additive and multiplicative preconditioning strategies for the widely used L-BFGS optimizer. The nonlinear preconditioners are constructed by utilizing the Schwarz domain-decomposition framework, where the parameters of the network are decomposed in a layer-wise manner. Through a series of numerical experiments, we demonstrate that both, additive and multiplicative preconditioners significantly improve the convergence of the standard L-BFGS optimizer, while providing more accurate solutions of the underlying partial differential equations. Moreover, the additive preconditioner is inherently parallel, thus giving rise to a novel approach to model parallelism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google