Global Convergence of Deep Galerkin and PINNs Methods for Solving Partial Differential Equations

要約

タイトル：偏微分方程式の解決のためのDeep Galerkin MethodとPINNs Methodのグローバル収束

要約：

– 高次元の偏微分方程式（PDE）の数値解法は大きな課題である。
– 有限差分法などの従来の手法は、次元の呪いにより、高次元のPDEを解くことができない。
– ニューラルネットワークを使用して解を近似する深層学習法が最近開発されている。
– この論文では、偏微分方程式を解くための一般的に使用される深層学習アルゴリズムの1つであるDeep Galerkin Method（DGM）について、グローバル収束を証明する。
– DGMは、確率的勾配降下法を使用して、ニューラルネットワーク近似器をトレーニングしてPDEを解決する。
– 単層ネットワークの隠れユニット数が無限大になる（つまり、「ワイドネットワークリミット」で）と、トレーニングされたニューラルネットワークが無限次元の線形常微分方程式（ODE）の解に収束することを証明する。
– 限界近似器のPDE残差はトレーニング時間が$\rightarrow \infty$になるとゼロに収束することが証明されている。限界近似器のこの収束は、ニューラルネットワーク近似器がPDEの解に収束することを意味する。
– PDEのための深層学習方法の密接に関連するクラスであるPhysics Informed Neural Networks（PINNs）の場合、同じ数学的手法を使用して、類似のグローバル収束結果を証明できる。
– どちらの証明にも、限界近似器の進化を決定するODEにおけるカーネル関数の分析が必要となる。
– カーネル関数は、PDEオペレータとニューラルタンジェントカーネル（NTK）オペレータの組み合わせであるため、スペクトルギャップが欠如しており、その性質の注意深い分析が必要である。

要約(オリジナル)

Numerically solving high-dimensional partial differential equations (PDEs) is a major challenge. Conventional methods, such as finite difference methods, are unable to solve high-dimensional PDEs due to the curse-of-dimensionality. A variety of deep learning methods have been recently developed to try and solve high-dimensional PDEs by approximating the solution using a neural network. In this paper, we prove global convergence for one of the commonly-used deep learning algorithms for solving PDEs, the Deep Galerkin Method (DGM). DGM trains a neural network approximator to solve the PDE using stochastic gradient descent. We prove that, as the number of hidden units in the single-layer network goes to infinity (i.e., in the “wide network limit’), the trained neural network converges to the solution of an infinite-dimensional linear ordinary differential equation (ODE). The PDE residual of the limiting approximator converges to zero as the training time $\rightarrow \infty$. Under mild assumptions, this convergence also implies that the neural network approximator converges to the solution of the PDE. A closely related class of deep learning methods for PDEs is Physics Informed Neural Networks (PINNs). Using the same mathematical techniques, we can prove a similar global convergence result for the PINN neural network approximators. Both proofs require analyzing a kernel function in the limit ODE governing the evolution of the limit neural network approximator. A key technical challenge is that the kernel function, which is a composition of the PDE operator and the neural tangent kernel (NTK) operator, lacks a spectral gap, therefore requiring a careful analysis of its properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI