Evolutionary Optimization of Physics-Informed Neural Networks: Survey and Prospects

要約

有限データで訓練された深い学習モデルは、物理的な世界を完全に理解していません。
一方、物理学に基づいたニューラルネットワーク（PINN）には、数学的に表現された自然の法則がトレーニング損失機能に組み込まれることにより、そのような知識が注入されています。
PINNSは、物理的法則を順守することにより、限られた産業体制で純粋にデータ駆動型モデルよりも利点を提供します。
この機能により、それらを科学機械学習の最前線に導きました。これは、希少で費用のかかるデータを特徴とするドメインです。
ただし、正確な物理学に基づいた学習のビジョンには、大きな課題があります。
このレビューでは、モデルの最適化と一般化の観点からPINNを初めて調べ、トレーニング速度、精度、および今日のPINNモデルの一般化性に関連する問題を克服するための新しいアルゴリズムの進歩の必要性に光を当てています。
特に興味深いのは、PINNトレーニングで発生するユニークな複雑な損失景観を最適化するための神経進化の勾配のない方法です。
方法化された神経アーキテクチャを発見し、物理学に基づいた学習目標における複数の矛盾する用語のバランスをとるための勾配降下と神経進化の相乗的な方法は、将来の研究の重要な道として位置づけられています。
さらに別のエキサイティングなトラックは、一般化可能なPINNモデルのメタ学習者としてニューロエボリューションをキャストすることです。

要約(オリジナル)

Deep learning models trained on finite data lack a complete understanding of the physical world. On the other hand, physics-informed neural networks (PINNs) are infused with such knowledge through the incorporation of mathematically expressible laws of nature into their training loss function. By complying with physical laws, PINNs provide advantages over purely data-driven models in limited-data regimes. This feature has propelled them to the forefront of scientific machine learning, a domain characterized by scarce and costly data. However, the vision of accurate physics-informed learning comes with significant challenges. This review examines PINNs for the first time in terms of model optimization and generalization, shedding light on the need for new algorithmic advances to overcome issues pertaining to the training speed, precision, and generalizability of today’s PINN models. Of particular interest are the gradient-free methods of neuroevolution for optimizing the uniquely complex loss landscapes arising in PINN training. Methods synergizing gradient descent and neuroevolution for discovering bespoke neural architectures and balancing multiple conflicting terms in physics-informed learning objectives are positioned as important avenues for future research. Yet another exciting track is to cast neuroevolution as a meta-learner of generalizable PINN models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google