A Concise Lyapunov Analysis of Nesterov’s Accelerated Gradient Method

要約

Nesterovの加速勾配法の収束分析は、過去数十年にわたって大きな注目を集めています。
広範な作業により、その理論的特性が調査され、加速の背後にある直観が解明されましたが、収束率の単純で直接的な証拠はまだ不足しています。
一般的な凸関数と強力な凸関数の両方について、ネステロフの加速勾配法の収束率の簡潔なリアプノフ分析を提供します。

要約(オリジナル)

Convergence analysis of Nesterov’s accelerated gradient method has attracted significant attention over the past decades. While extensive work has explored its theoretical properties and elucidated the intuition behind its acceleration, a simple and direct proof of its convergence rates is still lacking. We provide a concise Lyapunov analysis of the convergence rates of Nesterov’s accelerated gradient method for both general convex and strongly convex functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google