Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization

要約

非滑らかな最適化問題に対処するための座標型の部分勾配法は、部分微分の設定値の性質のため、比較的研究が進んでいません。
この研究では、私たちの研究は、凸問題と弱凸問題 (非凸非滑らか) の幅広いクラスを含む、非滑らかな複合最適化問題に焦点を当てています。
複合構造の連鎖規則を適切に利用することにより、この問題クラスに取り組むためのランダム化座標部分勾配法 (RCS) を導入します。
私たちの知る限り、これは一般的な非滑らかな複合最適化問題を解決するための最初の座標劣勾配法です。
理論的には、実際のシナリオを説明するために、従来のリプシッツ連続性の仮定よりも一般的な、目的関数の線形有界部分勾配の仮定を考慮します。
次に、この一般化されたリプシッツ型の仮定に基づいて、凸型と弱凸型の両方のケースで RCS の収束解析を実行します。
具体的には、期待値における $\widetilde{\mathcal{O}}$$(1/\sqrt{k})$ の収束率とほぼ確実な漸近 $\tilde o(1/\sqrt{k})$ を確立します。
$f$ が凸の場合の準最適性ギャップに関する収束率。
$f$ が弱凸であり、その微分がグローバル計量準則性プロパティを満たす場合、期待に基づいて $\mathcal{O}(\varepsilon^{-4})$ の反復計算量を導き出します。
また、漸近収束結果も確立します。
分析で利用されるグローバル計量の非規則性特性を正当化するために、具体的な (実数値の) ロバスト位相検索問題に対してこの誤差限界条件を確立します。
また、収束補題と、弱凸関数のグローバル計量準規則性特性とそのモロー包絡線との関係も提供します。
最後に、RCS がサブグラジェント法よりも優れている可能性を実証するためにいくつかの実験を実施します。

要約(オリジナル)

Coordinate-type subgradient methods for addressing nonsmooth optimization problems are relatively underexplored due to the set-valued nature of the subdifferential. In this work, our study focuses on nonsmooth composite optimization problems, encompassing a wide class of convex and weakly convex (nonconvex nonsmooth) problems. By utilizing the chain rule of the composite structure properly, we introduce the Randomized Coordinate Subgradient method (RCS) for tackling this problem class. To the best of our knowledge, this is the first coordinate subgradient method for solving general nonsmooth composite optimization problems. In theory, we consider the linearly bounded subgradients assumption for the objective function, which is more general than the traditional Lipschitz continuity assumption, to account for practical scenarios. We then conduct convergence analysis for RCS in both convex and weakly convex cases based on this generalized Lipschitz-type assumption. Specifically, we establish the $\widetilde{\mathcal{O}}$$(1/\sqrt{k})$ convergence rate in expectation and the $\tilde o(1/\sqrt{k})$ almost sure asymptotic convergence rate in terms of the suboptimality gap when $f$ is convex. For the case when $f$ is weakly convex and its subdifferential satisfies the global metric subregularity property, we derive the $\mathcal{O}(\varepsilon^{-4})$ iteration complexity in expectation. We also establish an asymptotic convergence result. To justify the global metric subregularity property utilized in the analysis, we establish this error bound condition for the concrete (real-valued) robust phase retrieval problem. We also provide a convergence lemma and the relationship between the global metric subregularity properties of a weakly convex function and its Moreau envelope. Finally, we conduct several experiments to demonstrate the possible superiority of RCS over the subgradient method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google