Anytime Acceleration of Gradient Descent

要約

この研究では、{\em いつでも} 収束保証を備えた勾配降下のステップサイズベースの加速を調査します。
滑らかな (強くない) 凸最適化のために、任意の停止時間 $T$ に対して勾配降下法で $O(T^{-1.03})$ の収束保証を達成できるステップサイズ スケジュールを提案します。ここで、ステップサイズ スケジュールは事前に決定されています。
停止時間についての事前知識。
この結果は、ステップサイズベースの加速が $o(T^{-1})$ の収束率をいつでも得られるかどうかに関する COLT の未解決問題 \citep{kornowski2024open} に対する肯定的な答えを提供します。
$\kappa$ を条件番号として、理論をさらに拡張して、滑らかで強凸の最適化のための $\exp(-\Omega(T/\kappa^{0.97}))$ の収束保証をいつでも実現します。

要約(オリジナル)

This work investigates stepsize-based acceleration of gradient descent with {\em anytime} convergence guarantees. For smooth (non-strongly) convex optimization, we propose a stepsize schedule that allows gradient descent to achieve convergence guarantees of $O(T^{-1.03})$ for any stopping time $T$, where the stepsize schedule is predetermined without prior knowledge of the stopping time. This result provides an affirmative answer to a COLT open problem \citep{kornowski2024open} regarding whether stepsize-based acceleration can yield anytime convergence rates of $o(T^{-1})$. We further extend our theory to yield anytime convergence guarantees of $\exp(-\Omega(T/\kappa^{0.97}))$ for smooth and strongly convex optimization, with $\kappa$ being the condition number.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google