Improving physics-informed neural networks with meta-learned optimization

要約

微分方程式系を解くために物理学に基づいたニューラル ネットワークを使用して達成可能なエラーは、これらのネットワークが、従来行われていた固定の手作りのオプティマイザを使用するのではなく、メタ学習された最適化方法を使用してトレーニングされた場合に大幅に削減できることを示します。
微分方程式の特定のクラスに対してメタトレーニングされた浅い多層パーセプトロンに基づいて、学習可能な最適化手法を選択します。
線形移流方程式、ポアソン方程式、Korteweg-de Vries 方程式、Burgers 方程式など、数理物理学に実際に関連するいくつかの方程式のメタトレーニング オプティマイザを示します。
また、メタ学習オプティマイザーが転移学習能力を示すことも示しています。つまり、ある微分方程式でメタ学習済みオプティマイザーを別の微分方程式にもうまく展開できるということです。

要約(オリジナル)

We show that the error achievable using physics-informed neural networks for solving systems of differential equations can be substantially reduced when these networks are trained using meta-learned optimization methods rather than to using fixed, hand-crafted optimizers as traditionally done. We choose a learnable optimization method based on a shallow multi-layer perceptron that is meta-trained for specific classes of differential equations. We illustrate meta-trained optimizers for several equations of practical relevance in mathematical physics, including the linear advection equation, Poisson’s equation, the Korteweg–de Vries equation and Burgers’ equation. We also illustrate that meta-learned optimizers exhibit transfer learning abilities, in that a meta-trained optimizer on one differential equation can also be successfully deployed on another differential equation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google