Generating synthetic data for neural operators

要約

最近の文献における数多くの開発は、現在の数値ソルバーの範囲を超えた偏微分方程式 (PDE) の数値解を取得する際の深層学習の有望な可能性を示しています。
ただし、データ駆動型のニューラル オペレーターはすべて、同様の問題に悩まされています。ネットワークのトレーニングに必要なデータは、有限差分や有限要素などの古典的な数値ソルバーに依存しています。
この論文では、偏微分方程式を数値的に解く必要のない、合成機能トレーニング データを生成する別のアプローチを提案します。
古典理論に従って解が存在することがわかっている基礎となる解空間 ($H_0^1(\Omega)$ など) から、独立した同一分布の多数の「ランダム関数」 $u_j$ を $N$ 抽出します。
次に、このようなランダムな候補解をそれぞれ方程式に代入し、方程式に対応する右側関数 $f_j$ を取得し、$(f_j, u_j)_{j=1}^N$ を学習用の教師ありトレーニング データとみなします。
根底にある逆問題 $f \rightarrow u$。
数値偏微分方程式ソルバーを必要とする標準的な「順方向」アプローチとは対照的に、トレーニング データを生成するこの「逆方向」アプローチでは微分計算のみが必要であり、多くのデータ ポイントを迅速かつ効率的に生成できます。
アイデアは単純ですが、この方法が古典的な数値ソルバーに依存しないニューラル PDE ソルバーの開発の可能性を広げることを期待しています。

要約(オリジナル)

Numerous developments in the recent literature show the promising potential of deep learning in obtaining numerical solutions to partial differential equations (PDEs) beyond the reach of current numerical solvers. However, data-driven neural operators all suffer from a similar problem: the data needed to train a network depends on classical numerical solvers such as finite difference or finite element, among others. In this paper, we propose a different approach to generating synthetic functional training data that does not require solving a PDE numerically. We draw a large number $N$ of independent and identically distributed ‘random functions’ $u_j$ from the underlying solution space (e.g., $H_0^1(\Omega)$) in which we know the solution lies according to classical theory. We then plug each such random candidate solution into the equation and get a corresponding right-hand side function $f_j$ for the equation, and consider $(f_j, u_j)_{j=1}^N$ as supervised training data for learning the underlying inverse problem $f \rightarrow u$. This `backwards’ approach to generating training data only requires derivative computations, in contrast to standard `forward’ approaches, which require a numerical PDE solver, enabling us to generate many data points quickly and efficiently. While the idea is simple, we hope this method will expand the potential for developing neural PDE solvers that do not depend on classical numerical solvers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google