TENG: Time-Evolving Natural Gradient for Solving PDEs with Deep Neural Net

要約

偏微分方程式 (PDE) は、科学および工学における力学システムのモデル化に役立ちます。
ニューラル ネットワークの出現により、これらの複雑さへの取り組みにおいて大きな変化が始まりましたが、精度、特に初期値の問題に関しては依然として課題が残っています。
この論文では、時間依存変分原理と最適化ベースの時間積分を一般化し、自然勾配最適化を利用してニューラル ネットワーク ベースの偏微分方程式で高精度を得る $\textit{時間発展自然勾配 (TENG)}$ を紹介します。
ソリューション。
当社の包括的な開発には、精度と効率を高めるために調整された TENG-Euler やその高次のバリアント (TENG-Heun など) などのアルゴリズムが含まれています。
TENG の有効性は、そのパフォーマンスによってさらに検証され、現在の主要な手法を上回り、熱方程式、アレン・カーン方程式、バーガーズ方程式を含む偏微分方程式の範囲にわたる段階的な最適化で機械精度を達成します。

要約(オリジナル)

Partial differential equations (PDEs) are instrumental for modeling dynamical systems in science and engineering. The advent of neural networks has initiated a significant shift in tackling these complexities though challenges in accuracy persist, especially for initial value problems. In this paper, we introduce the $\textit{Time-Evolving Natural Gradient (TENG)}$, generalizing time-dependent variational principles and optimization-based time integration, leveraging natural gradient optimization to obtain high accuracy in neural-network-based PDE solutions. Our comprehensive development includes algorithms like TENG-Euler and its high-order variants, such as TENG-Heun, tailored for enhanced precision and efficiency. TENG’s effectiveness is further validated through its performance, surpassing current leading methods and achieving machine precision in step-by-step optimizations across a spectrum of PDEs, including the heat equation, Allen-Cahn equation, and Burgers’ equation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google