Revisiting Subgradient Method: Complexity and Convergence Beyond Lipschitz Continuity

要約

部分勾配法は、非滑らかな最適化のための最も基本的なアルゴリズム スキームの 1 つです。
このアルゴリズムの既存の複雑さと収束の結果は、主にリプシッツ連続目的関数に対して導出されます。
この研究では、まず、リプシッツ連続性を仮定せずに、部分勾配法の典型的な複雑さの結果を凸および弱凸の最小化に拡張します。
具体的には、凸の場合の準最適性ギャップ “$f(x) – f^*$” と $\mathcal{O に関して $\mathcal{O}(1/\sqrt{T})$ 限界を確立します。
}(1/{T}^{1/4})$ は、弱凸の場合のモロー包絡線関数の勾配に関して制限されます。
さらに、ステップ サイズに関する適切な減少規則を使用して、非リプシッツ凸および弱凸の目的関数の収束結果を提供します。
特に、$f$ が凸である場合、準最適性ギャップの観点から $\mathcal{O}(\log(k)/\sqrt{k})$ の収束率を示します。
二次成長条件を追加すると、最適解セットまでの二乗距離の観点から、レートは $\mathcal{O}(1/k)$ まで改善されます。
$f$ が弱凸の場合、漸近収束が得られます。
中心的な考え方は、適切に選択されたステップ サイズ ルールのダイナミクスが部分勾配法の動きを完全に制御し、反復の境界につながり、その後、軌道ベースの分析を実行して望ましい結果を確立できるということです。
私たちのフレームワークの幅広い適用性をさらに説明するために、複雑さの結果を非リプシッツ関数の切り捨て部分勾配、確率的部分勾配、増分部分勾配、および近位部分勾配法に拡張します。

要約(オリジナル)

The subgradient method is one of the most fundamental algorithmic schemes for nonsmooth optimization. The existing complexity and convergence results for this algorithm are mainly derived for Lipschitz continuous objective functions. In this work, we first extend the typical complexity results for the subgradient method to convex and weakly convex minimization without assuming Lipschitz continuity. Specifically, we establish $\mathcal{O}(1/\sqrt{T})$ bound in terms of the suboptimality gap “$f(x) – f^*$” for convex case and $\mathcal{O}(1/{T}^{1/4})$ bound in terms of the gradient of the Moreau envelope function for weakly convex case. Furthermore, we provide convergence results for non-Lipschitz convex and weakly convex objective functions using proper diminishing rules on the step sizes. In particular, when $f$ is convex, we show $\mathcal{O}(\log(k)/\sqrt{k})$ rate of convergence in terms of the suboptimality gap. With an additional quadratic growth condition, the rate is improved to $\mathcal{O}(1/k)$ in terms of the squared distance to the optimal solution set. When $f$ is weakly convex, asymptotic convergence is derived. The central idea is that the dynamics of properly chosen step sizes rule fully controls the movement of the subgradient method, which leads to boundedness of the iterates, and then a trajectory-based analysis can be conducted to establish the desired results. To further illustrate the wide applicability of our framework, we extend the complexity results to the truncated subgradient, the stochastic subgradient, the incremental subgradient, and the proximal subgradient methods for non-Lipschitz functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google