A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality

要約

適応型勾配降下法オプティマイザーは、ニューラル ネットワーク モデルをトレーニングするための標準的な選択肢です。
適応オプティマイザは勾配降下法よりも収束が速く、実際には優れたパフォーマンスを発揮しますが、標準的な勾配降下法ほど理解されていません。
その理由は、これらの手法の収束を早めるのに役立つ学習率の動的な更新により、分析が複雑になるためです。
特に、単純な勾配降下法は、あるクラスの最適化問題に対して線形速度で収束しますが、実際に高速な適応勾配法にはそのような理論的保証がありません。
Polyak-{\L}ojasiewicz (PL) 不等式は既知の最も弱いクラスであり、勾配降下法とその運動量変種の線形収束が証明されています。
したがって、この論文では、コスト関数が滑らかで PL 不等式を満たす場合、2 つのよく知られた適応勾配法である AdaGrad と Adam が線形に収束することを証明します。
私たちの理論的フレームワークは、バッチ勾配と確率勾配の両方に適用できるシンプルで統一されたアプローチに従っており、Adam の他のバリアントの線形収束の分析に利用できる可能性があります。

要約(オリジナル)

Adaptive gradient-descent optimizers are the standard choice for training neural network models. Despite their faster convergence than gradient-descent and remarkable performance in practice, the adaptive optimizers are not as well understood as vanilla gradient-descent. A reason is that the dynamic update of the learning rate that helps in faster convergence of these methods also makes their analysis intricate. Particularly, the simple gradient-descent method converges at a linear rate for a class of optimization problems, whereas the practically faster adaptive gradient methods lack such a theoretical guarantee. The Polyak-{\L}ojasiewicz (PL) inequality is the weakest known class, for which linear convergence of gradient-descent and its momentum variants has been proved. Therefore, in this paper, we prove that AdaGrad and Adam, two well-known adaptive gradient methods, converge linearly when the cost function is smooth and satisfies the PL inequality. Our theoretical framework follows a simple and unified approach, applicable to both batch and stochastic gradients, which can potentially be utilized in analyzing linear convergence of other variants of Adam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google