Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms

要約

確率的勾配降下法 (SGD) や確率的勾配ランジュバン力学 (SGLD) などの確率的反復アルゴリズムは、機械学習、統計、エンジニアリングにおける大規模かつ高次元の問題の最適化とサンプリングに広く利用されています。
多くの研究が、これらの近似におけるパラメータ誤差を制限し、その不確実性を特徴付けてきました。
一般的なアプローチの 1 つは、特に漸近セットアップにおいて、アルゴリズム サンプル パスの分布を連続時間の確率過程近似に関連付けるためにスケーリング限界分析を使用することでした。
この論文では、単変量設定に焦点を当て、Stein の交換可能ペア法の無限次元バージョンを使用して、アルゴリズムのサンプル パスと Ornstein-Uhlenbeck 近似の間の非漸近関数近似誤差限界を導出する以前の研究を構築します。
この限界は、控えめな追加の仮定の下で弱い収束を意味し、アルゴリズムの反復平均の分散誤差の限界につながることを示します。
さらに、主な結果を使用して、2 つの一般的なメトリクス、つまり L\'{e}vy-Prokhorov 距離と有界 Wasserstein 距離の観点から誤差範囲を構築します。
私たちの結果は、多変量設定およびより洗練された確率的近似アルゴリズムに対する同様の誤差限界を開発するための基礎を提供します。

要約(オリジナル)

Stochastic iterative algorithms, including stochastic gradient descent (SGD) and stochastic gradient Langevin dynamics (SGLD), are widely utilized for optimization and sampling in large-scale and high-dimensional problems in machine learning, statistics, and engineering. Numerous works have bounded the parameter error in, and characterized the uncertainty of, these approximations. One common approach has been to use scaling limit analyses to relate the distribution of algorithm sample paths to a continuous-time stochastic process approximation, particularly in asymptotic setups. Focusing on the univariate setting, in this paper, we build on previous work to derive non-asymptotic functional approximation error bounds between the algorithm sample paths and the Ornstein-Uhlenbeck approximation using an infinite-dimensional version of Stein’s method of exchangeable pairs. We show that this bound implies weak convergence under modest additional assumptions and leads to a bound on the error of the variance of the iterate averages of the algorithm. Furthermore, we use our main result to construct error bounds in terms of two common metrics: the L\'{e}vy-Prokhorov and bounded Wasserstein distances. Our results provide a foundation for developing similar error bounds for the multivariate setting and for more sophisticated stochastic approximation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google