Evolutionary Optimization of Physics-Informed Neural Networks: Advancing Generalizability by the Baldwin Effect

要約

物理学に基づいたニューラルネットワーク（PINN）は、科学的機械学習の最前線にあり、物理的法則を認識し、それらを正確にシミュレートできる機械インテリジェンスの作成を可能にします。
ただし、今日のPINNは、多くの場合、単一の物理学タスクのために訓練されており、類似の物理ドメインからのタスクであっても、新しいタスクごとに計算上の高価な再トレーニングが必要です。
この制限に対処するために、このペーパーでは、ボールドウィンの進化の枠組みを通じてPINNの一般化可能性を進めるための先駆的なアプローチを提案します。
環境を迅速に学び、予測し、反応​​するために進化した早老種の神経発達からインスピレーションを得て、物理学の効率的な学習に強いバイアスを誘導する接続強度で事前に配線されたPINNを想定しています。
生涯学習（これらのタスクのサンプリングされたサブセットを専門とするために）を使用した新しい2段階の確率的プログラミング策定結合進化選択圧力（物理タスクの分布に基づく）を結合することが提案されています。
進化したボールドウィンピンは、最先端のグラデーションベースのメタラーニング方法と比較して、計算コストの一部で予測精度が数桁改善された、経験的に挑戦的な問題インスタンスの範囲にわたって迅速かつ物理的に準拠した予測機能を実証しています。
たとえば、拡散反応方程式を解くと、700倍の計算時間をかけながら精度の70倍の改善が得られました。
したがって、この論文は、一般化可能な物理学ソルバーとしてのPINNのメタ学習における飛躍を告げています。
サンプルコードはhttps://github.com/chiuph/baldwinian-pinnで入手できます。

要約(オリジナル)

Physics-informed neural networks (PINNs) are at the forefront of scientific machine learning, making possible the creation of machine intelligence that is cognizant of physical laws and able to accurately simulate them. However, today’s PINNs are often trained for a single physics task and require computationally expensive re-training for each new task, even for tasks from similar physics domains. To address this limitation, this paper proposes a pioneering approach to advance the generalizability of PINNs through the framework of Baldwinian evolution. Drawing inspiration from the neurodevelopment of precocial species that have evolved to learn, predict and react quickly to their environment, we envision PINNs that are pre-wired with connection strengths inducing strong biases towards efficient learning of physics. A novel two-stage stochastic programming formulation coupling evolutionary selection pressure (based on proficiency over a distribution of physics tasks) with lifetime learning (to specialize on a sampled subset of those tasks) is proposed to instantiate the Baldwin effect. The evolved Baldwinian-PINNs demonstrate fast and physics-compliant prediction capabilities across a range of empirically challenging problem instances with more than an order of magnitude improvement in prediction accuracy at a fraction of the computation cost compared to state-of-the-art gradient-based meta-learning methods. For example, when solving the diffusion-reaction equation, a 70x improvement in accuracy was obtained while taking 700x less computational time. This paper thus marks a leap forward in the meta-learning of PINNs as generalizable physics solvers. Sample codes are available at https://github.com/chiuph/Baldwinian-PINN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google