Safeguarding adaptive methods: global convergence of Barzilai-Borwein and other stepsize choices

要約

この論文では、凸最小化問題に対する適応手法の最近の進歩を活用して、Barzilai-Borwein や 1 次元 Anderson 加速などの一般的なステップサイズの選択の収束をグローバル化するための、ラインサーチ不要の近位勾配フレームワークを提供します。
このフレームワークは、微分可能関数の勾配が単に局所的に古い連続である問題に対処できます。
私たちの分析は、既存の結果を網羅するだけでなく、その基礎となる既存の結果を改良します。
この理論は、高速ステップサイズ選択と適応手法の間の相乗的な相互作用を示す数値証拠によって裏付けられています。

要約(オリジナル)

Leveraging on recent advancements on adaptive methods for convex minimization problems, this paper provides a linesearch-free proximal gradient framework for globalizing the convergence of popular stepsize choices such as Barzilai-Borwein and one-dimensional Anderson acceleration. This framework can cope with problems in which the gradient of the differentiable function is merely locally H\’older continuous. Our analysis not only encompasses but also refines existing results upon which it builds. The theory is corroborated by numerical evidence that showcases the synergetic interplay between fast stepsize selections and adaptive methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google