Faster Gradient-Free Algorithms for Nonsmooth Nonconvex Stochastic Optimization

要約

$\min_{x \in \mathbb{R}^d} f(x) \triangleq \mathbb{E}_{\xi} [F(x; \xi)]$ の形式の最適化問題を考えます。
ここで、成分 $F(x;\xi)$ は $L$ 平均二乗リプシッツですが、おそらく非凸で非滑らかです。
最近提案された無勾配法では、最大でも $\mathcal{O}( L^4 d^{3/2} \epsilon^{-4} + \Delta L^3 d^{3/2} \delta^ が必要です
{-1} \epsilon^{-4})$ 目的関数の $(\delta,\epsilon)$-Goldstein 定常点を見つけるための確率的 0 次オラクル複雑度、ここで $\Delta = f(x_0) – \
inf_{x \in \mathbb{R}^d} f(x)$ および $x_0$ はアルゴリズムの初期点です。
この論文では、確率的再帰勾配推定器を使用したより効率的なアルゴリズムを提案します。これにより、複雑さが $\mathcal{O}(L^3 d^{3/2} \epsilon^{-3}+ \Delta L^2 d^ に改善されます)
{3/2} \デルタ^{-1} \イプシロン^{-3})$。

要約(オリジナル)

We consider the optimization problem of the form $\min_{x \in \mathbb{R}^d} f(x) \triangleq \mathbb{E}_{\xi} [F(x; \xi)]$, where the component $F(x;\xi)$ is $L$-mean-squared Lipschitz but possibly nonconvex and nonsmooth. The recently proposed gradient-free method requires at most $\mathcal{O}( L^4 d^{3/2} \epsilon^{-4} + \Delta L^3 d^{3/2} \delta^{-1} \epsilon^{-4})$ stochastic zeroth-order oracle complexity to find a $(\delta,\epsilon)$-Goldstein stationary point of objective function, where $\Delta = f(x_0) – \inf_{x \in \mathbb{R}^d} f(x)$ and $x_0$ is the initial point of the algorithm. This paper proposes a more efficient algorithm using stochastic recursive gradient estimators, which improves the complexity to $\mathcal{O}(L^3 d^{3/2} \epsilon^{-3}+ \Delta L^2 d^{3/2} \delta^{-1} \epsilon^{-3})$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google