Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity

要約

ニューラル オペレーター学習モデルは、計算科学や計算工学のさまざまなアプリケーションにわたる偏微分方程式 (PDE) のデータ駆動型手法における非常に効果的な代用として登場しました。
このような演算子学習モデルは、物理的または生物学的システムの特定のインスタンスをリアルタイムで予測するだけでなく、初期条件と境界条件または強制項の分布に対応する解のクラスも予測します。
% DeepONet は最初のニューラル演算子モデルであり、リーマン問題を含む幅広いクラスの解法に対して広範囲にテストされています。
変圧器はそのような用途には使用されておらず、特に、規則性の低い偏微分方程式の解についてはテストされていません。
この研究では、まず、変圧器がオペレータ学習モデルとして普遍的な近似特性を持っているという理論的基礎を確立します。
次に、変換器を適用して、複数の初期条件と強制項に対する有限の規則性の解を使用して、多様な力学システムの解を予測します。
特に、Izhikevich ニューロン モデル、調整された分数次数 Leaky Integrate-and-Fire (LIF) モデル、および 1 次元オイラー方程式リーマン問題の 3 つの例を検討します。
後者の問題については、DeepONet の変種とも比較したところ、トランスフォーマーは精度において DeepONet を上回っていますが、計算コストが高いことがわかりました。

要約(オリジナル)

Neural operator learning models have emerged as very effective surrogates in data-driven methods for partial differential equations (PDEs) across different applications from computational science and engineering. Such operator learning models not only predict particular instances of a physical or biological system in real-time but also forecast classes of solutions corresponding to a distribution of initial and boundary conditions or forcing terms. % DeepONet is the first neural operator model and has been tested extensively for a broad class of solutions, including Riemann problems. Transformers have not been used in that capacity, and specifically, they have not been tested for solutions of PDEs with low regularity. % In this work, we first establish the theoretical groundwork that transformers possess the universal approximation property as operator learning models. We then apply transformers to forecast solutions of diverse dynamical systems with solutions of finite regularity for a plurality of initial conditions and forcing terms. In particular, we consider three examples: the Izhikevich neuron model, the tempered fractional-order Leaky Integrate-and-Fire (LIF) model, and the one-dimensional Euler equation Riemann problem. For the latter problem, we also compare with variants of DeepONet, and we find that transformers outperform DeepONet in accuracy but they are computationally more expensive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google