Neural Operator: Learning Maps Between Function Spaces

要約

古典的なニューラルネットワークの開発は、主に有限次元ユークリッド空間や有限集合間のマッピングを学習することに焦点を当ててきた。我々はニューラルネットワークを一般化し、無限次元関数空間間のマッピングを学習する演算子（ニューラル演算子）を提案する。ニューラル演算子は、線形積分演算子と非線形活性化関数の合成として定式化される。提案するニューラル作用素の普遍的な近似定理を証明し、任意の非線形連続作用素を近似できることを示す。また、提案するニューラル演算子は離散化不変であり、すなわち、基礎となる関数空間の離散化が異なっても同じモデルパラメータを共有する。さらに、グラフ・ニューラル演算子、多極グラフ・ニューラル演算子、低ランク・ニューラル演算子、フーリエ・ニューラル演算子という4つのクラスの効率的なパラメータ化を紹介する。ニューラル作用素の重要な応用として、偏微分方程式(PDE)の解作用素の代理写像の学習がある。我々は、Burgers方程式、Darcy地下流方程式、Navier-Stokes方程式などの標準的なPDEを検討し、提案するニューラル演算子が、既存の機械学習ベースの方法論と比較して優れた性能を持ち、従来のPDEソルバーよりも数桁高速であることを示す。

要約(オリジナル)

The classical development of neural networks has primarily focused on learning mappings between finite dimensional Euclidean spaces or finite sets. We propose a generalization of neural networks to learn operators, termed neural operators, that map between infinite dimensional function spaces. We formulate the neural operator as a composition of linear integral operators and nonlinear activation functions. We prove a universal approximation theorem for our proposed neural operator, showing that it can approximate any given nonlinear continuous operator. The proposed neural operators are also discretization-invariant, i.e., they share the same model parameters among different discretization of the underlying function spaces. Furthermore, we introduce four classes of efficient parameterization, viz., graph neural operators, multi-pole graph neural operators, low-rank neural operators, and Fourier neural operators. An important application for neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider standard PDEs such as the Burgers, Darcy subsurface flow, and the Navier-Stokes equations, and show that the proposed neural operators have superior performance compared to existing machine learning based methodologies, while being several orders of magnitude faster than conventional PDE solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL