Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations

要約

ディープ ニューラル ネットワークは、高次元で正確な関数近似を提供することが示されています。
ただし、ネットワーク パラメーターのフィッティングには有益なトレーニング データが必要であり、科学や工学のアプリケーションでは収集が困難なことがよくあります。
この研究では、高次元偏微分方程式を数値的に解くためのアクティブラーニングを使用してトレーニングデータを生成する、深層学習に基づくニューラルガラーキンスキームを提案します。
ニューラル ガラーキン スキームは、ディラック フレンケルの変分原理に基づいて構築されており、時間の経過とともに残差を連続的に最小化することでネットワークをトレーニングします。これにより、偏微分方程式で記述されるダイナミクスに基づいて、自己情報に基づいた方法で新しいトレーニング データを適応的に収集できます。
これは、トレーニング データの取得を考慮せずにネットワーク パラメーターを時間内にグローバルに適合させることを目的とした他の機械学習手法とは対照的です。
私たちの発見は、提案されたニューラルガラーキンスキームのトレーニングデータを収集するアクティブな形式が、ネットワークの表現力を高次元で数値的に実現するための鍵であるということです。
数値実験では、ニューラル ガラーキン スキームには、特に高次元の波動伝播問題や問題など、解の特徴が局所的に進化する場合に、従来のソルバーや他の深層学習ベースのソルバーでは失敗する多くの変数を含む現象やプロセスのシミュレーションを可能にする可能性があることが実証されています。
フォッカー・プランクと運動方程式によって記述される相互作用する粒子システム。

要約(オリジナル)

Deep neural networks have been shown to provide accurate function approximations in high dimensions. However, fitting network parameters requires informative training data that are often challenging to collect in science and engineering applications. This work proposes Neural Galerkin schemes based on deep learning that generate training data with active learning for numerically solving high-dimensional partial differential equations. Neural Galerkin schemes build on the Dirac-Frenkel variational principle to train networks by minimizing the residual sequentially over time, which enables adaptively collecting new training data in a self-informed manner that is guided by the dynamics described by the partial differential equations. This is in contrast to other machine learning methods that aim to fit network parameters globally in time without taking into account training data acquisition. Our finding is that the active form of gathering training data of the proposed Neural Galerkin schemes is key for numerically realizing the expressive power of networks in high dimensions. Numerical experiments demonstrate that Neural Galerkin schemes have the potential to enable simulating phenomena and processes with many variables for which traditional and other deep-learning-based solvers fail, especially when features of the solutions evolve locally such as in high-dimensional wave propagation problems and interacting particle systems described by Fokker-Planck and kinetic equations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google