Generating synthetic data for neural operators

要約

最近の文献には、現在の数値ソルバーでは到達できない偏微分方程式（PDE）の数値解を得るためのディープラーニングの有望な可能性を示すものが数多くある。しかし、データ駆動型のニューラル演算器は、ネットワークを訓練するために必要なデータが、特に有限差分や有限要素などの古典的な数値ソルバーに依存するという同じ問題に悩まされている。本論文では、PDEを数値的に解く必要のない合成関数学習データを生成する新しいアプローチを提案する。その方法は簡単で、古典的な理論に従って解が存在することが分かっている解空間（例えば、$H_0^1(˶‾᷄ -̫ ‾᷅˵)$）から、独立かつ同一分布の「ランダム関数」$u_j$を大量に$N$個引く。次に、そのようなランダムな解候補をそれぞれ方程式に差し込み、方程式に対応する右辺関数$f_j$を得て、$(f_j, u_j)_{j=1}^N$を教師付き学習データとして考え、基礎となる逆問題$f♭rightarrow u$を学習する。この学習データ生成のための「後方」アプローチは、数値PDEソルバーを必要とする標準的な「前方」アプローチとは対照的に、微分計算のみを必要とする。発想は単純だが、この方法によって、古典的な数値ソルバーに依存しないニューラルPDEソルバーの開発の可能性が広がることを期待している。

要約(オリジナル)

Numerous developments in the recent literature show the promising potential of deep learning in obtaining numerical solutions to partial differential equations (PDEs) beyond the reach of current numerical solvers. However, data-driven neural operators all suffer from the same problem: the data needed to train a network depends on classical numerical solvers such as finite difference or finite element, among others. In this paper, we propose a new approach to generating synthetic functional training data that does not require solving a PDE numerically. The way we do this is simple: we draw a large number $N$ of independent and identically distributed `random functions’ $u_j$ from the underlying solution space (e.g., $H_0^1(\Omega)$) in which we know the solution lies according to classical theory. We then plug each such random candidate solution into the equation and get a corresponding right-hand side function $f_j$ for the equation, and consider $(f_j, u_j)_{j=1}^N$ as supervised training data for learning the underlying inverse problem $f \rightarrow u$. This `backwards’ approach to generating training data only requires derivative computations, in contrast to standard `forward’ approaches, which require a numerical PDE solver, enabling us to generate a large number of such data points quickly and efficiently. While the idea is simple, we hope that this method will expand the potential for developing neural PDE solvers that do not depend on classical numerical solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL