Training Hamiltonian neural networks without backpropagation

要約

データと物理法則を相乗的に統合するニューラル ネットワークは、動的システムのモデル化に大きな期待をもたらします。
ただし、ネットワーク パラメーターの勾配ベースの反復最適化は、多くの場合、計算コストが高く、収束が遅いという問題があります。
この研究では、データに依存しないデータ駆動型アルゴリズムを通じてハミルトニアン システムを近似するためのニューラル ネットワークのトレーニングを加速する逆伝播のないアルゴリズムを紹介します。
我々は、急勾配または広い入力領域で関数を近似する場合、ネットワーク パラメーターのデータ駆動型サンプリングが、データに依存しないサンプリングやネットワーク パラメーターの従来の勾配ベースの反復最適化よりも優れていることを経験的に示しています。
私たちのアプローチは、CPU を使用すると、勾配ベースの反復最適化を使用して従来のトレーニングを受けたハミルトニアン ニューラル ネットワークよりも 100 倍以上高速であり、H\’enon-Heiles システムを含むカオスの例では 4 桁以上正確であることを実証します。

要約(オリジナル)

Neural networks that synergistically integrate data and physical laws offer great promise in modeling dynamical systems. However, iterative gradient-based optimization of network parameters is often computationally expensive and suffers from slow convergence. In this work, we present a backpropagation-free algorithm to accelerate the training of neural networks for approximating Hamiltonian systems through data-agnostic and data-driven algorithms. We empirically show that data-driven sampling of the network parameters outperforms data-agnostic sampling or the traditional gradient-based iterative optimization of the network parameters when approximating functions with steep gradients or wide input domains. We demonstrate that our approach is more than 100 times faster with CPUs than the traditionally trained Hamiltonian Neural Networks using gradient-based iterative optimization and is more than four orders of magnitude accurate in chaotic examples, including the H\’enon-Heiles system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google