Feature Enforcing PINN (FE-PINN): A Framework for Learning the Underlying-Physics to Resolve Unbalancing in the Objective Function Terms

要約

この研究では、バニラPINNの不均衡な損失関数の課題を克服するために、新しいデータフリーフレームワークであるFeature Enforcing Physics Informed Neural Network (FE-PINN)を提案します。
不均衡は、損失関数に偏微分損失と境界条件の平均二乗誤差という 2 つの項が存在することによって発生します。
標準的な解決策は損失重み付けを使用することですが、これにはハイパーパラメータの調整が必要です。
この課題に対処するために、設計されたプロセスでの最終トレーニングの前に、ニューラル ネットワークに境界条件のみを強制的に学習させるスマート初期化と呼ばれるプロセスを導入します。
この方法では、クラスター化されたドメイン ポイントを使用して、設計された重みでニューラル ネットワークをトレーニングし、その結果、ファウンデーション ネットワークと呼ばれるニューラル ネットワークが作成されます。
これにより、境界条件を理解する固有の重みを持つネットワークが得られます。
次に、追加のレイヤーを使用して精度を向上させます。
これにより、ハイパーパラメータ調整をさらに必要とせずに、不均衡な損失関数の問題が解決されます。
ベンチマークとしてのシリンダー上の 2D 流れの場合、FE-PINN でのスマート初期化は、バニラ PINN でのハイパーパラメーター調整より 574 倍高速です。
最適な損失重量値を使用しても、FE-PINN は平均トレーニング時間を 1.98 短縮することでバニラ PINN を上回ります。
また、提案されたアプローチの逆問題に対する能力も示されています。
シリンダー上の 2D 流れの入口速度を求めるには、バニラ PINN の最適な重量損失値がわかっているため、FE-PINN はバニラ PINN よりも 2 倍高速になります。
私たちの結果は、FE-PINN は時間のかかる損失重み付けプロセスを排除するだけでなく、最適な重み値が損失関数で使用されている場合でも、バニラ PINN と比較して収束速度も向上することを示しています。
結論として、このフレームワークは、さまざまな分野にわたる広範囲の偏微分方程式を解くための高速かつ正確なツールとして使用できます。

要約(オリジナル)

In this study, we propose a new data-free framework, Feature Enforcing Physics Informed Neural Network (FE-PINN), to overcome the challenge of an imbalanced loss function in vanilla PINNs. The imbalance is caused by the presence of two terms in the loss function: the partial differential loss and the boundary condition mean squared error. A standard solution is to use loss weighting, but it requires hyperparameter tuning. To address this challenge, we introduce a process called smart initialization to force the neural network to learn only the boundary conditions before the final training in a designed process. In this method, clustered domain points are used to train a neural network with designed weights, resulting in the creation of a neural network called Foundation network. This results in a network with unique weights that understand boundary conditions. Then, additional layers are used to improve the accuracy. This solves the problem of an imbalanced loss function without further need for hyperparameter tuning. For 2D flow over a cylinder as a benchmark, smart initialization in FE-PINN is 574 times faster than hyperparameter tuning in vanilla PINN. Even with the optimal loss weight value, FE-PINN outperforms vanilla PINN by speeding up the average training time by 1.98. Also, the ability of the proposed approach is shown for an inverse problem. To find the inlet velocity for a 2D flow over a cylinder, FE-PINN is twice faster than vanilla PINN with the knowledge of optimal weight loss value for vanilla PINN. Our results show that FE-PINN not only eliminates the time-consuming process of loss weighting but also improves convergence speed compared to vanilla PINN, even when the optimal weight value is used in its loss function. In conclusion, this framework can be used as a fast and accurate tool for solving a wide range of Partial Differential Equations across various fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google