A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks

要約

タイトル: ニューラルネットワークによる初期値PDEの解決のための安定かつスケーラブルな手法
要約:
– 従来の格子やメッシュベースの方法とは異なり、ニューラルネットワークは次元の呪いを破る可能性があり、従来のソルバーでは困難または不可能な問題の近似的な解を提供できます。
– 境界値問題には、ネットワークパラメータのPDE残差のグローバルな最小化がうまくいきますが、初期値問題には適用性が損なわれる「catastrophic forgetting」があります。
– 代替のローカルインタイムアプローチでは、最適化問題をネットワークパラメータの常微分方程式（ODE）に変換し、解を時間軸方向に進めることができます。しかし、現在のこの方法に基づく手法には2つの重要な問題があります。
– 最初に、ODEの後を追うことで、問題の条件付けに制御されない成長が生じ、最終的に受け入れられない大きな数値誤差につながります。
– 2番目に、ODEメソッドはモデルパラメータの数によって立方的にスケールし、小さなニューラルネットワークに制限されているため、複雑なPDE初期条件と解を表現する能力が著しく制限されるためです。
– これらの洞察に基づいて、ニューラルIVPを開発し、ネットワークが不安定になるのを防ぎ、パラメータの数に線形時間で実行されるため、ニューラルネットワークを使用して複雑なPDEを進化させることができます。

要約(オリジナル)

Unlike conventional grid and mesh based methods for solving partial differential equations (PDEs), neural networks have the potential to break the curse of dimensionality, providing approximate solutions to problems where using classical solvers is difficult or impossible. While global minimization of the PDE residual over the network parameters works well for boundary value problems, catastrophic forgetting impairs the applicability of this approach to initial value problems (IVPs). In an alternative local-in-time approach, the optimization problem can be converted into an ordinary differential equation (ODE) on the network parameters and the solution propagated forward in time; however, we demonstrate that current methods based on this approach suffer from two key issues. First, following the ODE produces an uncontrolled growth in the conditioning of the problem, ultimately leading to unacceptably large numerical errors. Second, as the ODE methods scale cubically with the number of model parameters, they are restricted to small neural networks, significantly limiting their ability to represent intricate PDE initial conditions and solutions. Building on these insights, we develop Neural IVP, an ODE based IVP solver which prevents the network from getting ill-conditioned and runs in time linear in the number of parameters, enabling us to evolve the dynamics of challenging PDEs with neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI