Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems

要約

構造化された密度を持つヘビーテールノイズを伴う確率的最適化問題を検討します。
このような問題では、確率的勾配が
$\alpha \in (1, 2]$ を並べます。特に、私たちの分析では、ノイズ ノルムに制限のない期待値を持たせることができます。これらの結果を達成するために、平滑化された平均値の中央値を使用して確率的勾配を安定させます。結果の推定値が次のことを証明します。
これにより、それらをクリップド SGD およびクリップド SSTM に慎重に組み込むことができ、検討中の設定で確率の高い新しい複雑さの限界を導き出すことができます。

要約(オリジナル)

We consider stochastic optimization problems with heavy-tailed noise with structured density. For such problems, we show that it is possible to get faster rates of convergence than $\mathcal{O}(K^{-2(\alpha – 1)/\alpha})$, when the stochastic gradients have finite moments of order $\alpha \in (1, 2]$. In particular, our analysis allows the noise norm to have an unbounded expectation. To achieve these results, we stabilize stochastic gradients, using smoothed medians of means. We prove that the resulting estimates have negligible bias and controllable variance. This allows us to carefully incorporate them into clipped-SGD and clipped-SSTM and derive new high-probability complexity bounds in the considered setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google