On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration

要約

タイトル: $\R^{d}$ 上の AdaGrad(Norm) の収束: 凸性を超えた非漸近レートと加速度

要約:
– AdaGrad およびその他の適応的最適化の手法の既存の解析は、有界な領域直径を持つ関数についてのものです。
– 制約のない問題においては、先行研究では関数クラス全体に対して明示的な定数因子がない漸近的収束率が保証されます。
– また、確率的設定では、一般的に使用される AdaGrad と異なる、最新の勾配を使用してステップサイズを更新しない変更されたバージョンのみが解析されています。
– 本論文では、これらのギャップを埋め、平滑な凸関数の標準的な設定およびより一般的なクエーサー凸関数の設定で AdaGrad およびその変種をより深く理解することを目的としています。
– まず、我々は制約のない問題における普通の AdaGrad の収束率を明示的に境界づける新しい技術を示します。そして、この技術は決定論的、確率的な両方の設定で適用可能です。
– 次に、算術平均の代わりに最後の反復回数の収束を示す AdaGrad の変種を提案します。
– 最後に、問題パラメータに明示的に依存する決定論的設定での新しい加速適応アルゴリズムとその収束保証を提供し、これは以前の研究で示された漸近的なレートを改善します。

要約(オリジナル)

Existing analysis of AdaGrad and other adaptive methods for smooth convex optimization is typically for functions with bounded domain diameter. In unconstrained problems, previous works guarantee an asymptotic convergence rate without an explicit constant factor that holds true for the entire function class. Furthermore, in the stochastic setting, only a modified version of AdaGrad, different from the one commonly used in practice, in which the latest gradient is not used to update the stepsize, has been analyzed. Our paper aims at bridging these gaps and developing a deeper understanding of AdaGrad and its variants in the standard setting of smooth convex functions as well as the more general setting of quasar convex functions. First, we demonstrate new techniques to explicitly bound the convergence rate of the vanilla AdaGrad for unconstrained problems in both deterministic and stochastic settings. Second, we propose a variant of AdaGrad for which we can show the convergence of the last iterate, instead of the average iterate. Finally, we give new accelerated adaptive algorithms and their convergence guarantee in the deterministic setting with explicit dependency on the problem parameters, improving upon the asymptotic rate shown in previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI