Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be?

要約

この研究では、物理学に基づいたニューラル ネットワークの潜在的な精度の限界を調査し、そのアプローチを以前の同様の研究や従来の数値手法と比較します。
改良された最適化アルゴリズムを選択すると、結果の精度が大幅に向上することがわかりました。
損失関数を簡単に変更すると精度が向上する可能性があり、強化のための追加手段が提供されます。
最適化アルゴリズムは損失関数の調整よりも収束に大きな影響を与えますが、実際の考慮事項では、実装の容易さから後者の微調整が優先されることがよくあります。
地球規模で、強化されたオプティマイザとわずかに調整された損失関数の統合により、さまざまな物理的問題にわたって損失関数を数桁削減できます。
その結果、コンパクトなネットワーク (通常、20 ～ 30 個のニューロンの 2 層または 3 層で構成される) を使用して得られた結果は、数千の格子点を使用する有限差分スキームに匹敵する精度を達成します。
この研究は、さまざまな分野にわたるより広範なアプリケーションのための PINN および関連する最適化技術の継続的な進歩を奨励します。

要約(オリジナル)

This study investigates the potential accuracy boundaries of physics-informed neural networks, contrasting their approach with previous similar works and traditional numerical methods. We find that selecting improved optimization algorithms significantly enhances the accuracy of the results. Simple modifications to the loss function may also improve precision, offering an additional avenue for enhancement. Despite optimization algorithms having a greater impact on convergence than adjustments to the loss function, practical considerations often favor tweaking the latter due to ease of implementation. On a global scale, the integration of an enhanced optimizer and a marginally adjusted loss function enables a reduction in the loss function by several orders of magnitude across diverse physical problems. Consequently, our results obtained using compact networks (typically comprising 2 or 3 layers of 20-30 neurons) achieve accuracies comparable to finite difference schemes employing thousands of grid points. This study encourages the continued advancement of PINNs and associated optimization techniques for broader applications across various fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google