A stochastic gradient descent algorithm with random search directions

要約

確率的座標降下アルゴリズムは、現在の反復から値でほとんどの座標を修正し、残りの座標に関する目的をほぼ最小化することにより、各反復が得られる効率的な方法です。
ただし、このアプローチは通常、$ \ mathbb {r}^d $の標準基底ベクトルに制限されています。
この論文では、より一般的なランダムベクターに従って勾配推定の方向導関数を使用するランダム検索方向を備えた、確率勾配降下アルゴリズムの新しいクラスを開発します。
これらのアルゴリズムのほぼ確実な収束を確立し、ステップが減少します。
さらに、それらの中心的な制限定理を調査し、漸近共分散マトリックスに対する検索分布の影響を分析するために特に注意を払っています。
また、非症状の$ \ mathbb {l}^p $収束率も提供します。

要約(オリジナル)

Stochastic coordinate descent algorithms are efficient methods in which each iterate is obtained by fixing most coordinates at their values from the current iteration, and approximately minimizing the objective with respect to the remaining coordinates. However, this approach is usually restricted to canonical basis vectors of $\mathbb{R}^d$. In this paper, we develop a new class of stochastic gradient descent algorithms with random search directions which uses the directional derivative of the gradient estimate following more general random vectors. We establish the almost sure convergence of these algorithms with decreasing step. We further investigate their central limit theorem and pay particular attention to analyze the impact of the search distributions on the asymptotic covariance matrix. We also provide non-asymptotic $\mathbb{L}^p$ rates of convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google