An Expert’s Guide to Training Physics-informed Neural Networks

要約

物理情報に基づいたニューラル ネットワーク (PINN) は、観測データと偏微分方程式 (PDE) 制約をシームレスに合成できる深層学習フレームワークとして普及しています。
ただし、その実際の有効性は、トレーニングの病状によって妨げられる可能性がありますが、多くの場合、深層学習の専門知識を持たないユーザーによる不適切な選択によっても妨げられます。
このペーパーでは、PINN のトレーニング効率と全体的な精度を大幅に向上させることができる一連のベスト プラクティスを紹介します。
また、PINN のトレーニングにおける最も顕著な困難のいくつかを強調する一連の挑戦的なベンチマーク問題を提示し、さまざまなアーキテクチャの選択とトレーニング戦略が結果として得られるモデルのテスト精度にどのような影響を与えるかを示す、包括的で完全に再現可能なアブレーション研究を提示します。
私たちは、この研究で提示された方法と指針が最先端の結果につながり、将来の研究で比較目的で使用されるべき強力なベースラインを提供することを示します。
この目的のために、この論文で報告されたすべての結果を再現し、将来の調査研究を可能にし、新しいユースケース シナリオへの容易な適応を促進するために使用できる、高度に最適化された JAX ライブラリもリリースします。

要約(オリジナル)

Physics-informed neural networks (PINNs) have been popularized as a deep learning framework that can seamlessly synthesize observational data and partial differential equation (PDE) constraints. Their practical effectiveness however can be hampered by training pathologies, but also oftentimes by poor choices made by users who lack deep learning expertise. In this paper we present a series of best practices that can significantly improve the training efficiency and overall accuracy of PINNs. We also put forth a series of challenging benchmark problems that highlight some of the most prominent difficulties in training PINNs, and present comprehensive and fully reproducible ablation studies that demonstrate how different architecture choices and training strategies affect the test accuracy of the resulting models. We show that the methods and guiding principles put forth in this study lead to state-of-the-art results and provide strong baselines that future studies should use for comparison purposes. To this end, we also release a highly optimized library in JAX that can be used to reproduce all results reported in this paper, enable future research studies, as well as facilitate easy adaptation to new use-case scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google