Approximation Theory, Computing, and Deep Learning on the Wasserstein Space

要約

有限サンプルから無限次元空間の関数を近似するという課題は、手ごわいものとして広く認識されています。
この研究では、確率空間上で定義されたソボレフ平滑関数の数値近似という困難な問題を掘り下げます。
特に焦点を当てているのは、関連する例として機能する Wasserstein 距離関数です。
点ごとの評価を効率的に近似することに重点を置いた既存の文献とは対照的に、次の 3 つの機械学習ベースのアプローチを採用することで関数近似を定義するための新しい方針を示します。 1. 有限数の最適輸送問題を解き、対応するワッサーシュタイン ポテンシャルを計算します。
2. Wasserstein Sobolev 空間における Tikhonov 正則化による経験的リスク最小化の採用。
3. チホノフ汎関数のオイラー ラグランジュ方程式の弱い形式を特徴付ける鞍点定式化を通じて問題に対処します。
理論的な貢献として、これらの各ソリューションの一般化誤差に対する明示的かつ定量的な限界を提供します。
証明では、計量ソボレフ空間の理論を利用し、それを最適輸送、変分計算、および大きな偏差限界の技術と組み合わせます。
数値実装では、基底関数として機能するように適切に設計されたニューラル ネットワークを利用します。
これらのネットワークは、さまざまな方法論を使用してトレーニングを受けます。
このアプローチにより、トレーニング後に迅速に評価できる近似関数を取得できます。
その結果、当社の建設的なソリューションは同等の精度で評価速度を大幅に向上させ、最先端の方法の評価速度を数桁上回ります。

要約(オリジナル)

The challenge of approximating functions in infinite-dimensional spaces from finite samples is widely regarded as formidable. In this study, we delve into the challenging problem of the numerical approximation of Sobolev-smooth functions defined on probability spaces. Our particular focus centers on the Wasserstein distance function, which serves as a relevant example. In contrast to the existing body of literature focused on approximating efficiently pointwise evaluations, we chart a new course to define functional approximants by adopting three machine learning-based approaches: 1. Solving a finite number of optimal transport problems and computing the corresponding Wasserstein potentials. 2. Employing empirical risk minimization with Tikhonov regularization in Wasserstein Sobolev spaces. 3. Addressing the problem through the saddle point formulation that characterizes the weak form of the Tikhonov functional’s Euler-Lagrange equation. As a theoretical contribution, we furnish explicit and quantitative bounds on generalization errors for each of these solutions. In the proofs, we leverage the theory of metric Sobolev spaces and we combine it with techniques of optimal transport, variational calculus, and large deviation bounds. In our numerical implementation, we harness appropriately designed neural networks to serve as basis functions. These networks undergo training using diverse methodologies. This approach allows us to obtain approximating functions that can be rapidly evaluated after training. Consequently, our constructive solutions significantly enhance at equal accuracy the evaluation speed, surpassing that of state-of-the-art methods by several orders of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google