Efficient PINNs: Multi-Head Unimodular Regularization of the Solutions Space

要約

非線形マルチスケール微分方程式、特に物理情報に基づいたニューラル ネットワーク (PINN) を使用した逆問題の解決を容易にする機械学習フレームワークを紹介します。
このフレームワークは、いわゆるマルチヘッド (MH) トレーニングに基づいています。これには、システムの特定の解を学習するのではなく、特定のばらつきのある一連の方程式のすべての解の一般空間を学習するようにネットワークをトレーニングすることが含まれます。
この設定は、解の潜在空間の Unimodular Regularization (UR) と呼ばれる 2 番目の新しい手法で使用されます。
マルチヘッドアプローチと正則化を組み合わせることで、転移学習プロセスが容易になり、非線形、結合、マルチスケール微分方程式の解を見つけることが可能になり、PINN の効率が大幅に向上することを示します。

要約(オリジナル)

We present a machine learning framework to facilitate the solution of nonlinear multiscale differential equations and, especially, inverse problems using Physics-Informed Neural Networks (PINNs). This framework is based on what is called multihead (MH) training, which involves training the network to learn a general space of all solutions for a given set of equations with certain variability, rather than learning a specific solution of the system. This setup is used with a second novel technique that we call Unimodular Regularization (UR) of the latent space of solutions. We show that the multihead approach, combined with the regularization, significantly improves the efficiency of PINNs by facilitating the transfer learning process thereby enabling the finding of solutions for nonlinear, coupled, and multiscale differential equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google