Learning Physics-Informed Neural Networks without Stacked Back-propagation

要約

Physics-Informed Neural Network (PINN) は、偏微分方程式 (PDE) を解くために一般的に使用される機械学習アプローチになりました。
しかし、高次元の 2 次 PDE 問題に直面すると、PINN の損失には 2 次導関数が含まれるため、PINN は深刻なスケーラビリティの問題に悩まされます。その計算コストは​​、スタック バックプロパゲーション中に次元とともに増加します。
この作業では、物理情報に基づいたニューラル ネットワークのトレーニングを大幅に加速できる新しいアプローチを開発します。
特に、PDE 解をガウス平滑化モデルによってパラメーター化し、スタインの恒等式から導き出された 2 次導関数が逆伝播なしで効率的に計算できることを示します。
モデルの容量についてさらに説明し、微分推定の主な制限に対処するための分散削減方法を提供します。
実験結果は、提案された方法が標準のPINNトレーニングと比較して競合エラーを達成できることを示していますが、大幅に高速です。
コードは https://github.com/LithiumDA/PINN-without-Stacked-BP でリリースされています。

要約(オリジナル)

Physics-Informed Neural Network (PINN) has become a commonly used machine learning approach to solve partial differential equations (PDE). But, facing high-dimensional secondorder PDE problems, PINN will suffer from severe scalability issues since its loss includes second-order derivatives, the computational cost of which will grow along with the dimension during stacked back-propagation. In this work, we develop a novel approach that can significantly accelerate the training of Physics-Informed Neural Networks. In particular, we parameterize the PDE solution by the Gaussian smoothed model and show that, derived from Stein’s Identity, the second-order derivatives can be efficiently calculated without back-propagation. We further discuss the model capacity and provide variance reduction methods to address key limitations in the derivative estimation. Experimental results show that our proposed method can achieve competitive error compared to standard PINN training but is significantly faster. Our code is released at https://github.com/LithiumDA/PINN-without-Stacked-BP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google