An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization

要約

ノイズ関数評価のみを使用して、おそらく滑らかでも凸でもないリプシッツ対物レンズの $(\delta,\epsilon)$-静止点を生成する複雑さを研究します。
最近の研究では、この課題を解決するいくつかの確率的 0 次アルゴリズムが提案されていますが、それらはすべて $\Omega(d^{3/2})$ の次元依存性を抱えています。ここで、$d$ は問題の次元です。
最適であると推測されます。
我々は、複雑度 $O(d\delta^{-1}\epsilon^{-3})$ を備えたより高速なアルゴリズムを提供することで、この予想を否定します。これは、$d$ に関して最適であり、また、
精度パラメータ $\delta,\epsilon$ に関して最適であるため、Lin らによる未解決の問題が解決されます。
(NeurIPS’22)。
さらに、私たちのアルゴリズムによって達成される収束率は、滑らかな目的に対しても最適であり、非凸確率的ゼロ次設定では、非滑らかな最適化が滑らかな最適化と同じくらい簡単であることを証明しています。
前述の収束率を期待通りかつ高い確率で達成するアルゴリズムを提供します。
私たちの分析は、Goldstein 準微分集合に関するシンプルかつ強力な幾何補題に基づいており、これにより、一次の非滑らかな非凸最適化における最近の進歩を活用することができます。

要約(オリジナル)

We study the complexity of producing $(\delta,\epsilon)$-stationary points of Lipschitz objectives which are possibly neither smooth nor convex, using only noisy function evaluations. Recent works proposed several stochastic zero-order algorithms that solve this task, all of which suffer from a dimension-dependence of $\Omega(d^{3/2})$ where $d$ is the dimension of the problem, which was conjectured to be optimal. We refute this conjecture by providing a faster algorithm that has complexity $O(d\delta^{-1}\epsilon^{-3})$, which is optimal (up to numerical constants) with respect to $d$ and also optimal with respect to the accuracy parameters $\delta,\epsilon$, thus solving an open question due to Lin et al. (NeurIPS’22). Moreover, the convergence rate achieved by our algorithm is also optimal for smooth objectives, proving that in the nonconvex stochastic zero-order setting, nonsmooth optimization is as easy as smooth optimization. We provide algorithms that achieve the aforementioned convergence rate in expectation as well as with high probability. Our analysis is based on a simple yet powerful geometric lemma regarding the Goldstein-subdifferential set, which allows utilizing recent advancements in first-order nonsmooth nonconvex optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google