Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)

要約

タイトル：
PINNにおける失敗モードの調査と緩和

要約：
・本論文は、物理学を含んだニューラルネットワーク（PINN）を使用して偏微分方程式（PDE）を解く上での困難について調査する。
・PINNは、目的関数に物理学を正則化項として使用するが、このアプローチの欠点は、検証データがない場合や解の事前知識がない場合に手動でハイパーパラメーターを調整する必要があることである。
・物理の存在下での損失地形と逆伝播勾配の調査から、既存の方法がナビゲートが困難な非凸型の損失地形を生成することが判明した。また、高次のPDEが逆伝播勾配を汚染し、収束を阻害することも判明した。
・これらの課題に対処するために、高次導関数演算の計算を回避し、逆伝播勾配の汚染を緩和する新しい手法を提案する。
・この手法により、検索空間の次元を減らし、非スムーズな解を持つPDEの学習が可能になる。また、領域の複雑な領域にフォーカスする機構を提供する。
・さらに、Lagrange multiplier法に基づく等式制約をモデルの予測に課す自適応性と独立した学習率を持つ二重無制約形式を提案する。
・この手法を使用して、さまざまな線形および非線形PDEを解くことができる。

要約(オリジナル)

This paper explores the difficulties in solving partial differential equations (PDEs) using physics-informed neural networks (PINNs). PINNs use physics as a regularization term in the objective function. However, a drawback of this approach is the requirement for manual hyperparameter tuning, making it impractical in the absence of validation data or prior knowledge of the solution. Our investigations of the loss landscapes and backpropagated gradients in the presence of physics reveal that existing methods produce non-convex loss landscapes that are hard to navigate. Our findings demonstrate that high-order PDEs contaminate backpropagated gradients and hinder convergence. To address these challenges, we introduce a novel method that bypasses the calculation of high-order derivative operators and mitigates the contamination of backpropagated gradients. Consequently, we reduce the dimension of the search space and make learning PDEs with non-smooth solutions feasible. Our method also provides a mechanism to focus on complex regions of the domain. Besides, we present a dual unconstrained formulation based on Lagrange multiplier method to enforce equality constraints on the model’s prediction, with adaptive and independent learning rates inspired by adaptive subgradient methods. We apply our approach to solve various linear and non-linear PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI