Achieving High Accuracy with PINNs via Energy Natural Gradients

要約

我々は、物理情報に基づくニューラルネットワーク（PINN）およびディープリッツ法のための最適化アルゴリズムとして、ヘシアン誘起リーマン計量に関する自然勾配法であるエネルギー自然勾配降下法を提案します。
主な動機として、エネルギーの自然勾配から生じる関数空間の更新方向が、モデルの接線空間への直交射影を法とするニュートン方向に対応することを示します。
私たちは、エネルギー自然勾配降下法により、たとえ大幅に長い計算時間が許容される場合でも、勾配降下法や Adam などの標準的なオプティマイザーを使用して PINN をトレーニングした場合に得られるものよりも誤差が数桁小さい、高精度の解が得られることを実験的に示しています。

要約(オリジナル)

We propose energy natural gradient descent, a natural gradient method with respect to a Hessian-induced Riemannian metric as an optimization algorithm for physics-informed neural networks (PINNs) and the deep Ritz method. As a main motivation we show that the update direction in function space resulting from the energy natural gradient corresponds to the Newton direction modulo an orthogonal projection onto the model’s tangent space. We demonstrate experimentally that energy natural gradient descent yields highly accurate solutions with errors several orders of magnitude smaller than what is obtained when training PINNs with standard optimizers like gradient descent or Adam, even when those are allowed significantly more computation time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google