Tackling the Curse of Dimensionality with Physics-Informed Neural Networks

要約

次元の呪いにより、次元が増加するにつれて計算コストが指数関数的に増加し、計算リソースに多大な負担がかかります。
Richard E. Bellman が 60 年以上前に初めて指摘したように、これは高次元偏微分方程式を解く際に大きな課題を引き起こします。
最近、数値偏微分方程式 (PDE) を高次元で解くことに成功しましたが、そのような計算は法外に高価であり、一般的な非線形偏微分方程式を高次元に真にスケーリングすることはまだ達成されていません。
任意の高次元偏微分方程式を解くために物理情報に基づくニューラル ネットワーク (PINN) をスケールアップする新しい方法を開発します。
確率的次元勾配降下法 (SDGD) と呼ばれるこの新しい方法は、PDE の勾配をさまざまな次元に対応する部分に分解し、トレーニング PINN の反復ごとにこれらの次元部分のサブセットをランダムにサンプリングします。
提案された方法の収束およびその他の望ましい特性を理論的に証明します。
私たちは、提案された方法が、ハミルトン・ヤコビ・ベルマン (HJB) や数万次元のシュルディンガー方程式など、多くの悪名高い高次元偏微分方程式を高速に解くことができることを、さまざまなテストで実証しています。
PINN メッシュフリー アプローチを使用した単一 GPU。
特に、PINN を使用した SDGD を使用して、単一の GPU 上で 100,000 有効次元の非自明で異方性の分離不可能な解を使用して非線形偏微分方程式を 12 時間で解きました。
SDGD は PINN の一般的なトレーニング方法であるため、PINN の現在および将来のバリアントに適用して、任意の高次元偏微分方程式にスケールアップできます。

要約(オリジナル)

The curse-of-dimensionality taxes computational resources heavily with exponentially increasing computational cost as the dimension increases. This poses great challenges in solving high-dimensional PDEs, as Richard E. Bellman first pointed out over 60 years ago. While there has been some recent success in solving numerically partial differential equations (PDEs) in high dimensions, such computations are prohibitively expensive, and true scaling of general nonlinear PDEs to high dimensions has never been achieved. We develop a new method of scaling up physics-informed neural networks (PINNs) to solve arbitrary high-dimensional PDEs. The new method, called Stochastic Dimension Gradient Descent (SDGD), decomposes a gradient of PDEs into pieces corresponding to different dimensions and randomly samples a subset of these dimensional pieces in each iteration of training PINNs. We prove theoretically the convergence and other desired properties of the proposed method. We demonstrate in various diverse tests that the proposed method can solve many notoriously hard high-dimensional PDEs, including the Hamilton-Jacobi-Bellman (HJB) and the Schr\'{o}dinger equations in tens of thousands of dimensions very fast on a single GPU using the PINNs mesh-free approach. Notably, we solve nonlinear PDEs with nontrivial, anisotropic, and inseparable solutions in 100,000 effective dimensions in 12 hours on a single GPU using SDGD with PINNs. Since SDGD is a general training methodology of PINNs, it can be applied to any current and future variants of PINNs to scale them up for arbitrary high-dimensional PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google