Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent

要約

この論文では、確率的勾配降下（SGD）のPolyAK-Ruppert平均繰り返しの中央境界定理で非症状の収束率を確立します。
私たちの分析は、ShaoとZhang（2022）の独立したランダム変数の非線形統計のガウス近似の結果に基づいています。
この結果を使用して、最適化問題の最適なソリューションのための信頼性セットを構築するための乗数ブートストラップの非亜麻信の妥当性を証明します。
特に、私たちのアプローチは、polyak-ruppert sgd iterateの制限的な共分散を近似する必要性を回避します。これにより、最大$ 1/\ sqrt {n} $までの整数距離の近似速度を導き出すことができます。

要約(オリジナル)

In this paper, we establish non-asymptotic convergence rates in the central limit theorem for Polyak-Ruppert-averaged iterates of stochastic gradient descent (SGD). Our analysis builds on the result of the Gaussian approximation for nonlinear statistics of independent random variables of Shao and Zhang (2022). Using this result, we prove the non-asymptotic validity of the multiplier bootstrap for constructing the confidence sets for the optimal solution of an optimization problem. In particular, our approach avoids the need to approximate the limiting covariance of Polyak-Ruppert SGD iterates, which allows us to derive approximation rates in convex distance of order up to $1/\sqrt{n}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google