Convergence Rates of Stochastic Zeroth-order Gradient Descent for Ł ojasiewicz Functions

要約

Lojasiewicz 関数の確率的ゼロ次勾配降下 (SZGD) アルゴリズムの収束率を証明します。
SZGD アルゴリズムは \begin{align*} \mathbf{x}_{t+1} = \mathbf{x}_t – \eta_t \widehat{\nabla} f (\mathbf{x}_t), \qquad として反復します
t = 0,1,2,3,\cdots , \end{align*} ここで、$f$ は、\L ojasiewicz 指数 $\theta$ で \L ojasiewicz 不等式を満たす目的関数です。$\eta_t$ は、
ステップ サイズ (学習率)、および $ \widehat{\nabla} f (\mathbf{x}_t) $ は、ゼロ次情報のみを使用して推定された近似勾配です。
私たちの結果は、 $ \{ f (\mathbf{x}_t) – f (\mathbf{x}_\infty) \}_{t \in \mathbb{N} } $ は $ \{ \ よりも速く収束できることを示しています
| |
\mathbf{x}_t – \mathbf{x}_\infty \|
\}_{t \in \mathbb{N} }$、目的 $f$ が滑らかか非滑らかかに関係なく。

要約(オリジナル)

We prove convergence rates of Stochastic Zeroth-order Gradient Descent (SZGD) algorithms for Lojasiewicz functions. The SZGD algorithm iterates as \begin{align*} \mathbf{x}_{t+1} = \mathbf{x}_t – \eta_t \widehat{\nabla} f (\mathbf{x}_t), \qquad t = 0,1,2,3,\cdots , \end{align*} where $f$ is the objective function that satisfies the \L ojasiewicz inequality with \L ojasiewicz exponent $\theta$, $\eta_t$ is the step size (learning rate), and $ \widehat{\nabla} f (\mathbf{x}_t) $ is the approximate gradient estimated using zeroth-order information only. Our results show that $ \{ f (\mathbf{x}_t) – f (\mathbf{x}_\infty) \}_{t \in \mathbb{N} } $ can converge faster than $ \{ \| \mathbf{x}_t – \mathbf{x}_\infty \| \}_{t \in \mathbb{N} }$, regardless of whether the objective $f$ is smooth or nonsmooth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google