Solving PDEs on Unknown Manifolds with Machine Learning

要約

この論文では、拡散マップ (DM) と深層学習に基づいて、点群で識別された未知多様体上の楕円偏微分方程式を解くためのメッシュフリーの計算フレームワークと機械学習理論を提案します。
PDE ソルバーは、PDE (および該当する場合は境界条件) を近似する代数方程式を課す最小二乗回帰問題を解く教師あり学習タスクとして定式化されます。
この代数方程式には、DM 漸近展開によって得られるグラフ ラプラシアン タイプの行列が含まれており、これは 2 次の楕円微分演算子の一貫した推定量です。
結果として得られる数値的手法は、ニューラル ネットワーク (NN) の仮説空間からの解法を適用して、高度に非凸の経験的リスク最小化問題を解くものです。
適切に設定された楕円偏微分方程式設定では、仮説空間が無限の幅または深さのニューラル ネットワークで構成されている場合、経験的損失関数のグローバル最小化関数が大規模なトレーニング データの制限内で一貫した解であることを示します。
仮説空間が 2 層ニューラル ネットワークである場合、幅が十分に大きい場合、勾配降下法により経験的損失関数の大域最小化関数を特定できることを示します。
裏付けとなる数値例は、共次元が低いおよび高い単純な多様体から、境界のあるまたはない粗い表面に至るまで、解の収束を示しています。
また、提案された NN ソルバーは、Nystrom ベースの内挿法に取って代わり、トレーニング誤差とほぼ同じ汎化誤差を持つ新しいデータ点で PDE 解を堅牢に一般化できることも示します。

要約(オリジナル)

This paper proposes a mesh-free computational framework and machine learning theory for solving elliptic PDEs on unknown manifolds, identified with point clouds, based on diffusion maps (DM) and deep learning. The PDE solver is formulated as a supervised learning task to solve a least-squares regression problem that imposes an algebraic equation approximating a PDE (and boundary conditions if applicable). This algebraic equation involves a graph-Laplacian type matrix obtained via DM asymptotic expansion, which is a consistent estimator of second-order elliptic differential operators. The resulting numerical method is to solve a highly non-convex empirical risk minimization problem subjected to a solution from a hypothesis space of neural networks (NNs). In a well-posed elliptic PDE setting, when the hypothesis space consists of neural networks with either infinite width or depth, we show that the global minimizer of the empirical loss function is a consistent solution in the limit of large training data. When the hypothesis space is a two-layer neural network, we show that for a sufficiently large width, gradient descent can identify a global minimizer of the empirical loss function. Supporting numerical examples demonstrate the convergence of the solutions, ranging from simple manifolds with low and high co-dimensions, to rough surfaces with and without boundaries. We also show that the proposed NN solver can robustly generalize the PDE solution on new data points with generalization errors that are almost identical to the training errors, superseding a Nystrom-based interpolation method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google