Coupling parameter and particle dynamics for adaptive sampling in Neural Galerkin schemes

要約

偏微分方程式の解を数値的に近似するためのディープ ニューラル ネットワークなどの非線形パラメータ化のトレーニングは、多くの場合、限られた設定でのみ解析的に利用できる残差を含む損失の最小化に基づいています。
同時に、特に波やコヒーレント構造などの局所的な特徴を示すトランスポート支配の問題や高次元の問題では、残差と関連量の分散が大きくなる可能性があるため、トレーニング損失を経験的に推定することは困難です。
したがって、情報のない一様な分布からのデータ サンプルに基づく推定は非効率的です。
この研究では、粒子のアンサンブルを介して経験的に表現される適応分布からのデータを使用してトレーニング損失を推定するニューラル ガラーキン スキームを導入しています。
アンサンブルは、解場の非線形パラメーター化に結合したダイナミクスを使用して粒子を進化させることによって積極的に適応されるため、アンサンブルはトレーニング損失を推定するための情報を維持します。
数値実験によると、局所的な特徴や高次元の空間領域に関する問題であっても、トレーニング損失の正確な経験的推定値を取得するには、少数の動的粒子で十分であることが示されています。

要約(オリジナル)

Training nonlinear parametrizations such as deep neural networks to numerically approximate solutions of partial differential equations is often based on minimizing a loss that includes the residual, which is analytically available in limited settings only. At the same time, empirically estimating the training loss is challenging because residuals and related quantities can have high variance, especially for transport-dominated and high-dimensional problems that exhibit local features such as waves and coherent structures. Thus, estimators based on data samples from un-informed, uniform distributions are inefficient. This work introduces Neural Galerkin schemes that estimate the training loss with data from adaptive distributions, which are empirically represented via ensembles of particles. The ensembles are actively adapted by evolving the particles with dynamics coupled to the nonlinear parametrizations of the solution fields so that the ensembles remain informative for estimating the training loss. Numerical experiments indicate that few dynamic particles are sufficient for obtaining accurate empirical estimates of the training loss, even for problems with local features and with high-dimensional spatial domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google