Learning Lipschitz Operators with respect to Gaussian Measures with Near-Optimal Sample Complexity

要約

機械学習のアイデアを使用して無限次元関数空間間のマッピングを近似する演算子学習は、近年ますます研究の注目を集めています。
データから学習された近似演算子は、計算科学および計算工学の問題に対する効率的な代理モデルとして機能し、従来の数値手法を補完することが期待されています。
しかし、彼らの経験的な成功にもかかわらず、基礎となる数学理論に対する私たちの理解は大部分がまだ不完全です。
この論文では、ガウス測度に関する期待におけるリプシッツ演算子の近似を研究します。
リプシッツ演算子のより高いガウス ソボレフ規則性を証明し、エルミート多項式近似誤差の下限と上限を確立します。
$m$ の任意の (適応) 線形サンプルからリプシッツ演算子の再構成をさらに検討します。
重要な発見は、$m$ の観点から、すべての可能な (適応) サンプリングおよび再構成マップの達成可能な最小誤差を厳密に特徴付けたことです。
エルミート多項式近似が最適な回復戦略であることが示されていますが、サンプルの複雑さという次のような呪いがあります。$m$ サンプルに基づいてリプシッツ演算子を近似する方法は、$m$ で代数収束率を達成できません。
良い面としては、ガウス測度の共分散演算子の十分に速いスペクトル減衰により、大きなデータ制限 $m \to \infty$ における任意の代数速度に任意に近い収束速度が保証されることが証明されます。
この研究の主な焦点は、有限個の点サンプルからリプシッツ演算子を復元することです。
私たちは、クリストフェル サンプリングと加重最小二乗近似を使用して、最適に近いサンプルの複雑さを高い確率で達成できるアルゴリズムを提案します。

要約(オリジナル)

Operator learning, the approximation of mappings between infinite-dimensional function spaces using ideas from machine learning, has gained increasing research attention in recent years. Approximate operators, learned from data, hold promise to serve as efficient surrogate models for problems in computational science and engineering, complementing traditional numerical methods. However, despite their empirical success, our understanding of the underpinning mathematical theory is in large part still incomplete. In this paper, we study the approximation of Lipschitz operators in expectation with respect to Gaussian measures. We prove higher Gaussian Sobolev regularity of Lipschitz operators and establish lower and upper bounds on the Hermite polynomial approximation error. We further consider the reconstruction of Lipschitz operators from $m$ arbitrary (adaptive) linear samples. A key finding is the tight characterization of the smallest achievable error for all possible (adaptive) sampling and reconstruction maps in terms of $m$. It is shown that Hermite polynomial approximation is an optimal recovery strategy, but we have the following curse of sample complexity: No method to approximate Lipschitz operators based on $m$ samples can achieve algebraic convergence rates in $m$. On the positive side, we prove that a sufficiently fast spectral decay of the covariance operator of the Gaussian measure guarantees convergence rates which are arbitrarily close to any algebraic rate in the large data limit $m \to \infty$. A main focus of this work is on the recovery of Lipschitz operators from finitely many point samples. We use Christoffel sampling and weighted least-squares approximation to propose an algorithm which provably achieves near-optimal sample complexity in high probability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google