PDE-constrained Models with Neural Network Terms: Optimization and Global Convergence

要約

最近の研究では、深層学習を使用して、科学および工学における偏微分方程式 (PDE) モデルを開発しています。
PDE の関数形式はニューラル ネットワークによって決定され、ニューラル ネットワークのパラメーターは利用可能なデータに合わせて調整されます。
埋め込まれたニューラル ネットワークのキャリブレーションは、偏微分方程式を最適化することで実行できます。
これらのアプリケーションに動機付けられて、ニューラル ネットワーク項を使用した線形楕円偏微分方程式のクラスの最適化を厳密に研究します。
PDE のニューラル ネットワーク パラメーターは、随伴 PDE を使用して勾配を評価する勾配降下法を使用して最適化されます。
パラメータの数が多くなると、偏微分方程式と随伴偏微分方程式は非局所偏微分方程式系に収束します。
この極限 PDE システムを使用して、最適化中にニューラル ネットワーク PDE が大域的最小値に収束することを証明できます。
最後に、この随伴法を使用して流体力学のアプリケーション用にニューラル ネットワーク モデルをトレーニングします。このモデルでは、ニューラル ネットワークはレイノルズ平均ナビエ ストークス (RANS) 方程式のクロージャ モデルとして機能します。
RANS ニューラル ネットワーク モデルは、乱流チャネル フローの複数のデータセットでトレーニングされ、さまざまなレイノルズ数でサンプル外で評価されます。

要約(オリジナル)

Recent research has used deep learning to develop partial differential equation (PDE) models in science and engineering. The functional form of the PDE is determined by a neural network, and the neural network parameters are calibrated to available data. Calibration of the embedded neural network can be performed by optimizing over the PDE. Motivated by these applications, we rigorously study the optimization of a class of linear elliptic PDEs with neural network terms. The neural network parameters in the PDE are optimized using gradient descent, where the gradient is evaluated using an adjoint PDE. As the number of parameters become large, the PDE and adjoint PDE converge to a non-local PDE system. Using this limit PDE system, we are able to prove convergence of the neural network-PDE to a global minimum during the optimization. Finally, we use this adjoint method to train a neural network model for an application in fluid mechanics, in which the neural network functions as a closure model for the Reynolds-averaged Navier–Stokes (RANS) equations. The RANS neural network model is trained on several datasets for turbulent channel flow and is evaluated out-of-sample at different Reynolds numbers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google