Neural Network Approximations of PDEs Beyond Linearity: A Representational Perspective

要約

急成長中の一連の研究では、深層ニューラル ネットワークを活用して高次元 PDE の解を近似し、これらのモデルが次元の呪いを回避しているように見える理由を説明することに焦点を当てた一連の理論的調査を開始しています。
ただし、ほとんどの以前の理論的分析は、線形偏微分方程式に限定されていました。
この作業では、非線形偏微分方程式の解を近似するためのニューラル ネットワークの表現力の研究に向けて一歩踏み出します。
\emph{非線形楕円変分偏微分方程式} として知られる偏微分方程式のクラスに焦点を当て、その解は \emph{Euler-Lagrange} エネルギー汎関数 $\mathcal{E}(u) = \int_\Omega L(x, u
(x), \nabla u(x)) – f(x) u(x)dx$.
$L$ の偏導関数を使用してバロン ノルム $b$ の関数を構成すると、最大で $B_L b^p$ のバロン ノルムの関数が生成される場合、偏微分方程式の解は、
バロンノルムの関数による $L^2$ センス $O\left(\left(dB_L\right)^{\max\{p \log(1/ \epsilon), p^{\log(1/\epsilon)
)}\}}\right)$.
Barron [1993] による古典的な結果により、これは、解を近似するために必要な 2 層ニューラル ネットワークのサイズを対応して制限します。
$p、\epsilon、B_L$ を定数として扱うと、この量は次元が多項式になり、ニューラル ネットワークが次元の呪いを回避できることを示します。
私たちの証明技術は、適切なヒルベルト空間で (前処理された) 勾配をニューラル的にシミュレートすることを含みます。これは、偏微分方程式の解に指数関数的に速く収束し、反復ごとにバロン ノルムの増加を制限できるようにします。
私たちの結果は、単位超立方体上の線形楕円偏微分方程式の類似の以前の結果を包含し、実質的に一般化します。

要約(オリジナル)

A burgeoning line of research leverages deep neural networks to approximate the solutions to high dimensional PDEs, opening lines of theoretical inquiry focused on explaining how it is that these models appear to evade the curse of dimensionality. However, most prior theoretical analyses have been limited to linear PDEs. In this work, we take a step towards studying the representational power of neural networks for approximating solutions to nonlinear PDEs. We focus on a class of PDEs known as \emph{nonlinear elliptic variational PDEs}, whose solutions minimize an \emph{Euler-Lagrange} energy functional $\mathcal{E}(u) = \int_\Omega L(x, u(x), \nabla u(x)) – f(x) u(x)dx$. We show that if composing a function with Barron norm $b$ with partial derivatives of $L$ produces a function of Barron norm at most $B_L b^p$, the solution to the PDE can be $\epsilon$-approximated in the $L^2$ sense by a function with Barron norm $O\left(\left(dB_L\right)^{\max\{p \log(1/ \epsilon), p^{\log(1/\epsilon)}\}}\right)$. By a classical result due to Barron [1993], this correspondingly bounds the size of a 2-layer neural network needed to approximate the solution. Treating $p, \epsilon, B_L$ as constants, this quantity is polynomial in dimension, thus showing neural networks can evade the curse of dimensionality. Our proof technique involves neurally simulating (preconditioned) gradient in an appropriate Hilbert space, which converges exponentially fast to the solution of the PDE, and such that we can bound the increase of the Barron norm at each iterate. Our results subsume and substantially generalize analogous prior results for linear elliptic PDEs over a unit hypercube.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google