Deterministic Nonsmooth Nonconvex Optimization

要約

$(\delta,\epsilon)$-定常点を生成することにより、非平滑非凸リプシッツ関数の最適化の複雑さを研究します。
最近のいくつかの研究では、次元 $d$ とは無関係に、$\tilde O(\delta^{-1}\epsilon^{-3})$ 一次オラクル呼び出しを使用してそのような点を生成するランダム化されたアルゴリズムが提示されています。
決定論的アルゴリズムを介して同様の結果が得られるかどうかは、未解決の問題でした。
この未解決の問題を解決し、無次元レートを得るにはランダム化が必要であることを示します。
特に、任意の決定論的アルゴリズムに対して $\Omega(d)$ の下限を証明します。
さらに、滑らかな最適化や凸最適化とは異なり、決定論的アルゴリズムが有限時間内に停止するには、関数値へのアクセスが必要であることを示します。
一方、関数が少しでも滑らかであれば、$\tilde O(\delta^{-1}\epsilon^{-3})$ の無次元率は決定論的に得られることを証明します。
アルゴリズムは、滑らかさパラメーターに対数的に依存するだけです。
これらの発見に動機付けられて、決定論的に平滑化するリプシッツ関数の複雑さを研究します。
効率的なブラックボックスのランダム化された平滑化がありますが、そのような決定論的な手順は意味のある方法で関数を平滑化できないことを示すことから始め、未解決の問題を解決します。
次に、ReLU ニューラル ネットワークの構造化されたケースでは、この不可能な結果を​​バイパスします。
そのために、オプティマイザがネットワークのアーキテクチャへのアクセスを許可されている実用的なホワイトボックス設定で、$(\delta,\epsilon)$ 定常点を証明できるように保存する、シンプルで無次元の決定論的平滑化を提案します。
私たちの方法は、ResNets や ConvNets など、任意の深さのさまざまなアーキテクチャに適用されます。
私たちのアルゴリズムと組み合わせることで、これは ReLU ネットワークを最適化するための最初の決定論的な無次元アルゴリズムを生み出し、下限を回避します。

要約(オリジナル)

We study the complexity of optimizing nonsmooth nonconvex Lipschitz functions by producing $(\delta,\epsilon)$-stationary points. Several recent works have presented randomized algorithms that produce such points using $\tilde O(\delta^{-1}\epsilon^{-3})$ first-order oracle calls, independent of the dimension $d$. It has been an open problem as to whether a similar result can be obtained via a deterministic algorithm. We resolve this open problem, showing that randomization is necessary to obtain a dimension-free rate. In particular, we prove a lower bound of $\Omega(d)$ for any deterministic algorithm. Moreover, we show that unlike smooth or convex optimization, access to function values is required for any deterministic algorithm to halt within any finite time. On the other hand, we prove that if the function is even slightly smooth, then the dimension-free rate of $\tilde O(\delta^{-1}\epsilon^{-3})$ can be obtained by a deterministic algorithm with merely a logarithmic dependence on the smoothness parameter. Motivated by these findings, we turn to study the complexity of deterministically smoothing Lipschitz functions. Though there are efficient black-box randomized smoothings, we start by showing that no such deterministic procedure can smooth functions in a meaningful manner, resolving an open question. We then bypass this impossibility result for the structured case of ReLU neural networks. To that end, in a practical white-box setting in which the optimizer is granted access to the network’s architecture, we propose a simple, dimension-free, deterministic smoothing that provably preserves $(\delta,\epsilon)$-stationary points. Our method applies to a variety of architectures of arbitrary depth, including ResNets and ConvNets. Combined with our algorithm, this yields the first deterministic dimension-free algorithm for optimizing ReLU networks, circumventing our lower bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google