Dimension reduction for derivative-informed operator learning: An analysis of approximation errors

要約

私たちは、ニューラルネットワークによる無限次元分離可能なヒルベルト空間間の非線形演算子の誘導体に基づいた学習を研究しています。
このような演算子は、部分的な微分方程式（PDE）の解から生じる可能性があり、PDEが制約した最適化、ベイズの逆問題、最適な実験設計など、科学と工学の多くのシミュレーションベースの外ループタスクで使用されます。
これらの設定では、ニューラルネットワーク近似を代理モデルとして使用して、外側ループタスクの解を加速できます。
ただし、無限の寸法の外側ループタスクには、基礎となるジオメトリの知識が必要なことが多いため、演算子のデリバティブの近似精度も代理モデルのパフォーマンスに大きな影響を与える可能性があります。
これにより動機付けられて、無限のガウス入力測定に対するソボレフ基準における神経演算子の近似誤差を分析します。
Ortonormalベースの縮小セットに及ぶ支配的な入出力サブスペースで定義された線形エンコーダとデコーダーを使用する、還元ベースのニューラル演算子（RBNO）に焦点を当てます。
この目的のために、ベースを生成するための2つの方法を研究します。
主成分分析（PCA）およびデリバティブに情報に基づいたサブスペース（DIS）は、それぞれ削減塩基としてデータまたはデリバティブの共分散の支配的な固有ベクトルを使用します。
次に、PCA/DISの経験的推定に関連するサンプリングエラーを含む、次元減少と潜在ニューラルネットワーク近似の両方から生じるエラーの境界を導き出します。
私たちの分析は、楕円PDEの数値実験で検証されています。そこでは、結果がマップ（すなわち、DISまたは出力PCA）によって通知される塩基が正確な再構成とオペレーターとその導関数の両方の一般化エラーを生成し、ランクとトレーニングサンプルサイズが十分に大きい場合を除き、入力PCAが十分に大きい場合を除き、入力PCAが不十分であることが示されています。

要約(オリジナル)

We study the derivative-informed learning of nonlinear operators between infinite-dimensional separable Hilbert spaces by neural networks. Such operators can arise from the solution of partial differential equations (PDEs), and are used in many simulation-based outer-loop tasks in science and engineering, such as PDE-constrained optimization, Bayesian inverse problems, and optimal experimental design. In these settings, the neural network approximations can be used as surrogate models to accelerate the solution of the outer-loop tasks. However, since outer-loop tasks in infinite dimensions often require knowledge of the underlying geometry, the approximation accuracy of the operator’s derivatives can also significantly impact the performance of the surrogate model. Motivated by this, we analyze the approximation errors of neural operators in Sobolev norms over infinite-dimensional Gaussian input measures. We focus on the reduced basis neural operator (RBNO), which uses linear encoders and decoders defined on dominant input/output subspaces spanned by reduced sets of orthonormal bases. To this end, we study two methods for generating the bases; principal component analysis (PCA) and derivative-informed subspaces (DIS), which use the dominant eigenvectors of the covariance of the data or the derivatives as the reduced bases, respectively. We then derive bounds for errors arising from both the dimension reduction and the latent neural network approximation, including the sampling errors associated with the empirical estimation of the PCA/DIS. Our analysis is validated on numerical experiments with elliptic PDEs, where our results show that bases informed by the map (i.e., DIS or output PCA) yield accurate reconstructions and generalization errors for both the operator and its derivatives, while input PCA may underperform unless ranks and training sample sizes are sufficiently large.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google