Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations

要約

偏微分方程式 (PDE) を解くための、物理情報に基づいたニューラル ネットワーク (PINN) における学習可能な活性化関数の使用を調査します。
具体的には、固定および学習可能な活性化を備えた従来の多層パーセプトロン (MLP) の有効性を、学習可能な基底関数を採用するコルモゴロフ・アーノルド ネットワーク (KAN) と比較します。
物理情報に基づくニューラル ネットワーク (PINN) は、学習プロセスに物理法則を直接組み込む効果的な方法として登場し、偏微分方程式に関連する順問題と逆問題の両方に対してデータ効率の高いソリューションを提供します。
ただし、低周波数成分をより効果的に学習する効果的なトレーニングやスペクトル バイアスなどの課題により、急速な振動や急激な遷移を特徴とする問題への適用が制限されることがよくあります。
MLP と KAN で異なる活性化関数または基底関数を使用することにより、収束動作とスペクトル バイアスの軽減、および偏微分方程式の正確な近似に対するそれらの影響を評価します。
この結果は、PDE ソルバーのトレーニング効率、収束速度、テスト精度のバランスをとるニューラル ネットワーク アーキテクチャの設計に関する洞察を提供します。
この研究は、活性化または基底関数の選択の影響を評価することにより、より堅牢で正確な PINN モデルを開発するためのガイドラインを提供します。
この研究で使用されたソース コードと事前トレーニングされたモデルは、再現性と将来の調査を容易にするために公開されています。

要約(オリジナル)

We investigate the use of learnable activation functions in Physics-Informed Neural Networks (PINNs) for solving Partial Differential Equations (PDEs). Specifically, we compare the efficacy of traditional Multilayer Perceptrons (MLPs) with fixed and learnable activations against Kolmogorov-Arnold Networks (KANs), which employ learnable basis functions. Physics-informed neural networks (PINNs) have emerged as an effective method for directly incorporating physical laws into the learning process, offering a data-efficient solution for both the forward and inverse problems associated with PDEs. However, challenges such as effective training and spectral bias, where low-frequency components are learned more effectively, often limit their applicability to problems characterized by rapid oscillations or sharp transitions. By employing different activation or basis functions on MLP and KAN, we assess their impact on convergence behavior and spectral bias mitigation, and the accurate approximation of PDEs. The findings offer insights into the design of neural network architectures that balance training efficiency, convergence speed, and test accuracy for PDE solvers. By evaluating the influence of activation or basis function choices, this work provides guidelines for developing more robust and accurate PINN models. The source code and pre-trained models used in this study are made publicly available to facilitate reproducibility and future exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google