High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance

要約

近年、確率的最適化手法の高確率収束に対する最適化および機械学習コミュニティの関心が高まっています。
この主な理由の 1 つは、高確率の複雑さの限界が、予想されるものよりも正確であり、あまり研究されていないことです。
ただし、SOTA の高確率の非漸近収束結果は、勾配ノイズの分散や目的の勾配自体の有界性などの強力な仮定に基づいて導出されます。
この論文では、より制限の少ない仮定の下で、高確率の収束結果をもたらすいくつかのアルゴリズムを提案します。
特に、次の設定で、勾配/演算子ノイズが $\alpha \in (1,2]$ の中心 $\alpha$-th moment を境界付けているという仮定の下で、新しい高確率収束結果を導き出します。(i)
滑らかな非凸 / Polyak-Lojasiewicz / 凸 / 強凸 / 準強凸の最小化問題、(ii) リプシッツ / スター共圧および単調 / 準強単調変分不等式 これらの結果は、考慮された解決方法の使用を正当化します。
確率的最適化で研究される標準関数クラスに適合しない問題。

要約(オリジナル)

During recent years the interest of optimization and machine learning communities in high-probability convergence of stochastic optimization methods has been growing. One of the main reasons for this is that high-probability complexity bounds are more accurate and less studied than in-expectation ones. However, SOTA high-probability non-asymptotic convergence results are derived under strong assumptions such as the boundedness of the gradient noise variance or of the objective’s gradient itself. In this paper, we propose several algorithms with high-probability convergence results under less restrictive assumptions. In particular, we derive new high-probability convergence results under the assumption that the gradient/operator noise has bounded central $\alpha$-th moment for $\alpha \in (1,2]$ in the following setups: (i) smooth non-convex / Polyak-Lojasiewicz / convex / strongly convex / quasi-strongly convex minimization problems, (ii) Lipschitz / star-cocoercive and monotone / quasi-strongly monotone variational inequalities. These results justify the usage of the considered methods for solving problems that do not fit standard functional classes studied in stochastic optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google