Separable Physics-Informed Neural Networks

要約

物理情報ニューラルネットワーク(PINN)は近年、データ駆動型のPDEソルバーとして有望視されており、様々なPDEにおいて有望な結果を示している。しかし、PINNを訓練して多次元PDEを解き、非常に複雑な解関数を近似するには、基本的な限界があります。これらの難解なPDEにおいて必要とされる学習点（コロケーション点）の数は大幅に増加するが、高価な計算コストと重いメモリオーバーヘッドのため、その数は大きく制限される。この問題を克服するために、我々はPINNのネットワークアーキテクチャと学習アルゴリズムを提案する。提案手法である分離可能PINN（SPINN）は、従来のPINNにおける点単位の処理とは異なり、多次元PDEにおけるネットワーク伝播数を大幅に削減するために、軸単位で動作する。また、PDE残差計算の計算コストを削減するために、順モード自動微分を使用することを提案し、1つのコモディティGPUで多数のコロケーション点（>10^7）を可能にする。実験結果は、より良い精度を達成しながら、多次元PDEにおける計算コストの劇的な削減（壁クロック時間で62倍、同じコロケーション点数でFLOPsで1,394倍）を示しています。さらに、SPINNはカオス的な(2+1)-d Navier-Stokes方程式を、精度を維持したまま、従来の最高性能の手法よりも大幅に高速に解くことができることを紹介します（シングルGPUで9分対10時間）。最後に、SPINNが非常に非線形で多次元のPDEである(3+1)-d Navier-Stokes方程式の解を正確に求めることができることを紹介します。可視化された結果とコードについては、https://jwcho5576.github.io/spinn.github.io/。

要約(オリジナル)

Physics-informed neural networks (PINNs) have recently emerged as promising data-driven PDE solvers showing encouraging results on various PDEs. However, there is a fundamental limitation of training PINNs to solve multi-dimensional PDEs and approximate highly complex solution functions. The number of training points (collocation points) required on these challenging PDEs grows substantially, but it is severely limited due to the expensive computational costs and heavy memory overhead. To overcome this issue, we propose a network architecture and training algorithm for PINNs. The proposed method, separable PINN (SPINN), operates on a per-axis basis to significantly reduce the number of network propagations in multi-dimensional PDEs unlike point-wise processing in conventional PINNs. We also propose using forward-mode automatic differentiation to reduce the computational cost of computing PDE residuals, enabling a large number of collocation points (>10^7) on a single commodity GPU. The experimental results show drastically reduced computational costs (62x in wall-clock time, 1,394x in FLOPs given the same number of collocation points) in multi-dimensional PDEs while achieving better accuracy. Furthermore, we present that SPINN can solve a chaotic (2+1)-d Navier-Stokes equation significantly faster than the best-performing prior method (9 minutes vs 10 hours in a single GPU), maintaining accuracy. Finally, we showcase that SPINN can accurately obtain the solution of a highly nonlinear and multi-dimensional PDE, a (3+1)-d Navier-Stokes equation. For visualized results and code, please see https://jwcho5576.github.io/spinn.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL