Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence

要約

SGDに基づき、確率最適化における収束速度と汎用性を向上させたアルゴリズムとして、SGDm、AdaGrad、Adamなどが提案されている。しかし、非凸条件下での収束解析は困難である。本研究では、この問題に対処するための統一的な枠組みを提案する。任意の一次手法に対して、更新された方向$g_t$を、確率的劣勾配$nabla f_t(x_t)$と追加の加速項$frac{2|langle v_tの和として解釈する、\nabla f_t(x_t) Γrangle|}{}{}|v_tΓrangle$を解析することにより収束を議論できる。このフレームワークを通して、我々は2つのプラグアンドプレイ加速法を発見した：\textbf{拒絶加速}とtextbf{ランダムベクトル加速}であり、この2つの方法が収束率の改善に直接つながることを理論的に示す。

要約(オリジナル)

Based on SGD, previous works have proposed many algorithms that have improved convergence speed and generalization in stochastic optimization, such as SGDm, AdaGrad, Adam, etc. However, their convergence analysis under non-convex conditions is challenging. In this work, we propose a unified framework to address this issue. For any first-order methods, we interpret the updated direction $g_t$ as the sum of the stochastic subgradient $\nabla f_t(x_t)$ and an additional acceleration term $\frac{2|\langle v_t, \nabla f_t(x_t) \rangle|}{\|v_t\|_2^2} v_t$, thus we can discuss the convergence by analyzing $\langle v_t, \nabla f_t(x_t) \rangle$. Through our framework, we have discovered two plug-and-play acceleration methods: \textbf{Reject Accelerating} and \textbf{Random Vector Accelerating}, we theoretically demonstrate that these two methods can directly lead to an improvement in convergence rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL