Randomized Coordinate Subgradient Method for Nonsmooth Optimization

要約

タイトル：ランダム化座標サブグラディエント法（RCS）による非滑らか最適化

要約：
– RCSは、非滑らかな凸および非滑らかな弱凸最適化問題を解くための方法。
– RCSは、各反復でアップデートするブロック座標をランダムに選択することで、すべての座標を更新するよりも実用的になる。
– RCSは、目的関数の線形上限サブグラディエント仮定を考慮し、従来のリプシッツ連続性仮定よりも一般的で実用的なシナリオを反映する。
– RCSの収束解析を、この一般化されたリプシッツ型仮説に基づいて凸および非凸の場合について行う。
– RCSは、非滑らかな凸に対して、期待値での$\widetilde{\mathcal{O}}(1/\sqrt{k})$ 収束率と、サブオプティマリティギャップの$\tilde o(1/\sqrt{k})$でのほぼ全ての確率での漸近的収束率を示す。
– $f$がさらにグローバル二次成長条件を満たす場合、最適解集合までの二乗距離に対して$\mathcal{O}(1/k)$の改善された収束率を示す。
– $f$が非滑らかな弱凸であり、そのサブ微分がグローバルメトリックサブレギュラリティ特性を満たす場合、期待値での$\mathcal{O}(1/T^{1/4})$反復複雑度を導出する。
– RCSをサブグラディエント法よりも優れたものとするいくつかの実験を行う。
– RCSの収束に関する補題やグローバルメトリックサブレギュラリティ特性に関する多数の独立した関心事がある。

要約(オリジナル)

In this work, we propose the {Randomized Coordinate Subgradient method} (RCS) for solving nonsmooth convex and nonsmooth nonconvex (nonsmooth weakly convex) optimization problems. RCS randomly selects one block coordinate to update at each iteration, making it more practical than updating all coordinates. We consider the linearly bounded subgradients assumption for the objective function, which is more general than the traditional Lipschitz continuity assumption, to account for practical scenarios. We then conduct thorough convergence analysis for RCS in both convex and nonconvex cases based on this generalized Lipschitz-type assumption. Specifically, we establish the $\widetilde{\mathcal{O}}(1/\sqrt{k})$ convergence rate in expectation and the $\tilde o(1/\sqrt{k})$ almost sure asymptotic convergence rate in terms of suboptimality gap when $f$ is nonsmooth convex. If $f$ further satisfies the global quadratic growth condition, the improved $\mathcal{O}(1/k)$ rate is shown in terms of the squared distance to the optimal solution set. For the case when $f$ is nonsmooth weakly convex and its subdifferential satisfies the global metric subregularity property, we derive the $\mathcal{O}(1/T^{1/4})$ iteration complexity in expectation, where $T$ is the total number of iterations. We also establish an asymptotic convergence result. To justify the global metric subregularity property utilized in the analysis, we establish this error bound condition for the concrete (real valued) robust phase retrieval problem, which is of independent interest. We provide a convergence lemma and the relationship between the global metric subregularity properties of a weakly convex function and its Moreau envelope, which are also of independent interest. Finally, we conduct several experiments to demonstrate the possible superiority of RCS over the subgradient method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI