Physics-informed deep learning and compressive collocation for high-dimensional diffusion-reaction equations: practical existence theory and numerics

要約

科学技術コンピューティングの最前線では、ディープ ラーニング (DL)、つまりディープ ニューラル ネットワーク (DNN) を使用した機械学習が、偏微分方程式 (PDE) を解くための強力な新しいツールとして登場しました。
DNN は、次元の呪いの影響を弱めるのに特に適していることが観察されています。次元の呪いとは、サンプルの複雑さ、つまり数値の指数関数的依存などの課題を説明するために 50 年代後半にリチャード E. ベルマンによって造られた用語です。
周囲空間の次元に関する近似問題を解くために必要なサンプルの数。
ただし、DNN は 90 年代から偏微分方程式を解くために使用されてきましたが、数値解析 (つまり、安定性、精度、サンプルの複雑さ) の観点から DNN の数学的効率を裏付ける文献は、最近になって登場し始めたばかりです。
この論文では、スパースベースの手法とランダム サンプリングを使用した関数近似の最近の進歩を利用して、DL に基づく効率的な高次元 PDE ソルバーを開発および分析します。
我々は、理論的にも数値的にも、この手法が新しい安定した正確な圧縮スペクトル コロケーション法と競合できることを示します。
特に、ネットワーク アーキテクチャ上の適切な境界と、サンプルの複雑さに関する十分条件を備えた、次元の対数スケーリング、または最悪の場合は線形スケーリングを備えたトレーニング可能な DNN のクラスの存在を確立する、新しい実用的な存在定理を実証します。
得られたネットワークは安定かつ正確に拡散反応偏微分方程式を高い確率で近似していることがわかります。

要約(オリジナル)

On the forefront of scientific computing, Deep Learning (DL), i.e., machine learning with Deep Neural Networks (DNNs), has emerged a powerful new tool for solving Partial Differential Equations (PDEs). It has been observed that DNNs are particularly well suited to weakening the effect of the curse of dimensionality, a term coined by Richard E. Bellman in the late `50s to describe challenges such as the exponential dependence of the sample complexity, i.e., the number of samples required to solve an approximation problem, on the dimension of the ambient space. However, although DNNs have been used to solve PDEs since the `90s, the literature underpinning their mathematical efficiency in terms of numerical analysis (i.e., stability, accuracy, and sample complexity), is only recently beginning to emerge. In this paper, we leverage recent advancements in function approximation using sparsity-based techniques and random sampling to develop and analyze an efficient high-dimensional PDE solver based on DL. We show, both theoretically and numerically, that it can compete with a novel stable and accurate compressive spectral collocation method. In particular, we demonstrate a new practical existence theorem, which establishes the existence of a class of trainable DNNs with suitable bounds on the network architecture and a sufficient condition on the sample complexity, with logarithmic or, at worst, linear scaling in dimension, such that the resulting networks stably and accurately approximate a diffusion-reaction PDE with high probability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google