Adaptive Proximal Gradient Method for Convex Optimization

要約

本論文では、凸最適化における2つの基本的な一次アルゴリズム、すなわち勾配降下法(GD)と近接勾配法(ProxGD)を探求する。我々の焦点は、滑らかな関数の局所的な曲率情報を活用することにより、これらのアルゴリズムを完全に適応的なものにすることである。我々は、観測された勾配の差に基づく適応的なGDとProxGDを提案する。さらに、勾配の局所的なリプシッツ性だけを仮定して、我々の手法の収束性を証明する。さらに、提案されたバージョンは、最初に[MM20]で提案されたものよりもさらに大きなステップサイズを可能にする。

要約(オリジナル)

In this paper, we explore two fundamental first-order algorithms in convex optimization, namely, gradient descent (GD) and proximal gradient method (ProxGD). Our focus is on making these algorithms entirely adaptive by leveraging local curvature information of smooth functions. We propose adaptive versions of GD and ProxGD that are based on observed gradient differences and, thus, have no added computational costs. Moreover, we prove convergence of our methods assuming only local Lipschitzness of the gradient. In addition, the proposed versions allow for even larger stepsizes than those initially suggested in [MM20].

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL