Automatic Differentiation is Essential in Training Neural Networks for Solving Differential Equations

要約

ニューラルネットワークに基づくアプローチは、近年、科学や工学における偏微分方程式（PDE）の解法において、特に複雑な領域や経験的データの取り込みを特徴とするシナリオにおいて、大きな可能性を示している。PDEに対するニューラルネットワーク法の利点の1つは自動微分（AD）にあり、微分を計算するために近傍の局所点を必要とする従来の有限差分（FD）近似とは異なり、サンプル点そのもののみを必要とする。本稿では、ニューラルネットワークの学習におけるADの優位性を定量的に示す。訓練特性を特徴付けるために、切り捨てエントロピーの概念を導入する。具体的には、ランダム特徴モデルと2層ニューラルネットワークに対して行った包括的な実験と理論解析を通して、定義された切断エントロピーが、AD法とFD法の両方において、ランダム特徴モデルの残差損失とニューラルネットワークの学習速度を定量化するための信頼できる指標として機能することを発見する。我々の実験的・理論的解析により、学習の観点から、AD法はPDEを解く際にFD法を凌駕することが実証された。

要約(オリジナル)

Neural network-based approaches have recently shown significant promise in solving partial differential equations (PDEs) in science and engineering, especially in scenarios featuring complex domains or incorporation of empirical data. One advantage of the neural network methods for PDEs lies in its automatic differentiation (AD), which necessitates only the sample points themselves, unlike traditional finite difference (FD) approximations that require nearby local points to compute derivatives. In this paper, we quantitatively demonstrate the advantage of AD in training neural networks. The concept of truncated entropy is introduced to characterize the training property. Specifically, through comprehensive experimental and theoretical analyses conducted on random feature models and two-layer neural networks, we discover that the defined truncated entropy serves as a reliable metric for quantifying the residual loss of random feature models and the training speed of neural networks for both AD and FD methods. Our experimental and theoretical analyses demonstrate that, from a training perspective, AD outperforms FD in solving PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL