About rectified sigmoid function for enhancing the accuracy of Physics-Informed Neural Networks

要約

この記事では、物理的問題を解決するための 1 つの隠れ層と修正された活性化関数を備えたニューラル ネットワークの研究に焦点を当てています。
ODE で記述された物理的問題をニューラル ネットワークで解決するために、修正シグモイド活性化関数が提案されています。
物理学に基づいたデータ駆動型のニューラル ネットワークの初期化アルゴリズムと、ニューロンごとの勾配のないフィッティング手法が、この活性化関数を備えたニューラル ネットワークに対して提示されています。
数値実験により、物理問題 (調和振動子、相対論的パチンコ、ローレンツ システム) の解決精度において、整流シグモイド関数を備えたニューラル ネットワークがシグモイド関数を備えたニューラル ネットワークよりも優れていることが実証されました。

要約(オリジナル)

The article is devoted to the study of neural networks with one hidden layer and a modified activation function for solving physical problems. A rectified sigmoid activation function has been proposed to solve physical problems described by the ODE with neural networks. Algorithms for physics-informed data-driven initialization of a neural network and a neuron-by-neuron gradient-free fitting method have been presented for the neural network with this activation function. Numerical experiments demonstrate the superiority of neural networks with a rectified sigmoid function over neural networks with a sigmoid function in the accuracy of solving physical problems (harmonic oscillator, relativistic slingshot, and Lorentz system).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google