要約
関数等価制約を伴う非凸最適化問題を解決するための、シングルループ 2 次ペナルティおよび拡張ラグランジュ アルゴリズムの複雑さを分析します。
3 つのケースを検討します。いずれの場合も、目的は確率的で滑らか、つまりサンプリングによってアクセスされる未知の分布に対する期待です。
等式制約の性質は 3 つのケースで異なります。最初のケースは決定論的および線形、2 番目のケースは決定論的、滑らかおよび非線形、3 番目のケースは確率的、滑らかおよび非線形です。
複雑さを改善するために分散削減技術が使用されます。
$\varepsilon$-近似一次条件を満たす点を見つけるには、最初のケース $\widetilde{O}(\varepsilon) で $\widetilde{O}(\varepsilon^{-3})$ の計算量が必要です。
2 番目の場合は ^{-4})$、3 番目の場合は $\widetilde{O}(\varepsilon^{-5})$ です。
1 番目と 3 番目のケースでは、最もよく知られている複雑さの保証を依然として達成している「単一ループ」タイプ (反復ごとに $O(1)$ サンプルも使用する) の最初のアルゴリズムです。
要約(オリジナル)
We analyze the complexity of single-loop quadratic penalty and augmented Lagrangian algorithms for solving nonconvex optimization problems with functional equality constraints. We consider three cases, in all of which the objective is stochastic and smooth, that is, an expectation over an unknown distribution that is accessed by sampling. The nature of the equality constraints differs among the three cases: deterministic and linear in the first case, deterministic, smooth and nonlinear in the second case, and stochastic, smooth and nonlinear in the third case. Variance reduction techniques are used to improve the complexity. To find a point that satisfies $\varepsilon$-approximate first-order conditions, we require $\widetilde{O}(\varepsilon^{-3})$ complexity in the first case, $\widetilde{O}(\varepsilon^{-4})$ in the second case, and $\widetilde{O}(\varepsilon^{-5})$ in the third case. For the first and third cases, they are the first algorithms of ‘single loop’ type (that also use $O(1)$ samples at each iteration) that still achieve the best-known complexity guarantees.
arxiv情報
| 著者 | Ahmet Alacaoglu,Stephen J. Wright |
| 発行日 | 2023-11-01 17:37:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google