Neuroevolution Surpasses Stochastic Gradient Descent for Physics-Informed Neural Networks

要約

基礎科学研究と発見のための学習モデルの可能性は、ますます注目を集めています。
損失関数が科学現象の支配方程式を直接埋め込む物理学に基づくニューラル ネットワーク (PINN) は、最近の進歩の最前線にある重要な技術の 1 つです。
これらのモデルは通常、確率的勾配降下法を使用してトレーニングされます。これは、標準的な深層学習の対応物と同様です。
ただし、このホワイト ペーパーでは、PINN で発生する損失関数が高度な複雑さと堅牢性につながることを示す簡単な分析を実行し、勾配降下とそのバリアントを助長しない可能性があります。
したがって、PINN の勾配降下法に代わるものとして神経進化アルゴリズムを使用することがより良い選択である可能性があることは明らかです。
私たちの主張は、ベンチマークの問題とベースラインの結果によって強く支持されており、神経進化によって達成された収束率は、PINN トレーニングの勾配降下率を実際に超えることができることを示しています。
さらに、JAX を使用して神経進化を実装すると、標準的な実装に比べて桁違いに高速化されます。

要約(オリジナル)

The potential of learned models for fundamental scientific research and discovery is drawing increasing attention. Physics-informed neural networks (PINNs), where the loss function directly embeds governing equations of scientific phenomena, is one of the key techniques at the forefront of recent advances. These models are typically trained using stochastic gradient descent, akin to their standard deep learning counterparts. However, in this paper, we carry out a simple analysis showing that the loss functions arising in PINNs lead to a high degree of complexity and ruggedness that may not be conducive for gradient-descent and its variants. It is therefore clear that the use of neuro-evolutionary algorithms as alternatives to gradient descent for PINNs may be a better choice. Our claim is strongly supported herein by benchmark problems and baseline results demonstrating that convergence rates achieved by neuroevolution can indeed surpass that of gradient descent for PINN training. Furthermore, implementing neuroevolution with JAX leads to orders of magnitude speedup relative to standard implementations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google