Deterministic Nonsmooth Nonconvex Optimization

要約

最近のいくつかの研究では、次元$d$に依存せず、$tilde O(Γdelta^{-1}epsilon^{-3})$ 一次オラクル呼び出しでそのような点を生成するランダム化アルゴリズムが提案されている。同様の結果が決定論的アルゴリズムで得られるかどうかは未解決の問題であった。我々はこの未解決の問題を解決し、無次元率を得るためにはランダム化が必要であることを示す。特に、任意の決定論的アルゴリズムに対して$Omega(d)$の下界を証明する。さらに、平滑最適化や凸最適化とは異なり、決定論的アルゴリズムが有限時間内に停止するためには、関数値へのアクセスが必要であることを示す。 一方、関数が僅かでも滑らかであれば、滑らかさパラメータに対数依存するだけの決定論的アルゴリズムで$tilde O(Γdelta^{-1}٥epsilon^{-3})$ の無次元速度が得られることを証明する。これらの発見を動機として、我々はリプシッツ関数を決定論的に平滑化することの複雑さを研究する。効率的なブラックボックス的ランダム化平滑化は存在するが、我々はまず、そのような決定論的手続きは意味のある方法で関数を平滑化できないことを示し、未解決の問題を解決する。次に、ReLUニューラルネットワークの構造化された場合について、この不可能性の結果を迂回する。そのために、オプティマイザがネットワークのアーキテクチャにアクセスすることを許可された実用的なホワイトボックス設定において、$(δ,epsilon)$定常点を証明的に保存する、簡単で次元のない決定論的平滑化を提案する。我々の方法は、ResNetsやConvNetsを含む、任意の深さの様々なアーキテクチャに適用できる。我々のアルゴリズムと組み合わせることで、ReLUネットワークを最適化するための最初の決定論的無次元アルゴリズムが得られ、我々の下界を回避することができる。

要約(オリジナル)

We study the complexity of optimizing nonsmooth nonconvex Lipschitz functions by producing $(\delta,\epsilon)$-stationary points. Several recent works have presented randomized algorithms that produce such points using $\tilde O(\delta^{-1}\epsilon^{-3})$ first-order oracle calls, independent of the dimension $d$. It has been an open problem as to whether a similar result can be obtained via a deterministic algorithm. We resolve this open problem, showing that randomization is necessary to obtain a dimension-free rate. In particular, we prove a lower bound of $\Omega(d)$ for any deterministic algorithm. Moreover, we show that unlike smooth or convex optimization, access to function values is required for any deterministic algorithm to halt within any finite time. On the other hand, we prove that if the function is even slightly smooth, then the dimension-free rate of $\tilde O(\delta^{-1}\epsilon^{-3})$ can be obtained by a deterministic algorithm with merely a logarithmic dependence on the smoothness parameter. Motivated by these findings, we turn to study the complexity of deterministically smoothing Lipschitz functions. Though there are efficient black-box randomized smoothings, we start by showing that no such deterministic procedure can smooth functions in a meaningful manner, resolving an open question. We then bypass this impossibility result for the structured case of ReLU neural networks. To that end, in a practical white-box setting in which the optimizer is granted access to the network’s architecture, we propose a simple, dimension-free, deterministic smoothing that provably preserves $(\delta,\epsilon)$-stationary points. Our method applies to a variety of architectures of arbitrary depth, including ResNets and ConvNets. Combined with our algorithm, this yields the first deterministic dimension-free algorithm for optimizing ReLU networks, circumventing our lower bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL