Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds

要約

確率的勾配降下法 (SGD) は、おそらく現代の機械学習で最も普及している最適化手法です。
置換なしで、各エポックで (可能な) 再シャッフルを行ってデータセットからサンプリングするという経験的な実践とは対照的に、SGD の理論上の対応物は、通常、置換ありのサンプリングの仮定に依存します。
非置換サンプリングによる SGD (シャッフル SGD) が分析されたのはごく最近のことです。
$n$ 成分の凸有限和問題の場合、各成分関数の $L$ 平滑性仮定の下では、十分に小さい — $\mathcal{O}(\frac{1}{
nL})$ — ステップ サイズ。
しかし、これらの限界はあまりにも悲観的であるように見えます。実際、予測されるパフォーマンスは一般に完全勾配降下法よりも優れたものではなく、経験的な観察と一致しません。
この研究では、シャッフル SGD の理論と実践の間のギャップを狭めるために、一般的な有限和問題から線形予測子を使用した経験的リスク最小化まで焦点を絞ります。
これにより、主双対の観点を取り、シャッフルされた SGD を双対側で周期的な座標更新を伴う主双対法として解釈できるようになります。
この観点を活用して、データ マトリックスに依存し、既存の境界によって予測されるものよりも決して悪くない、きめ細かい複雑さの境界を証明します。
特に、私たちの限界は既存の解析よりもはるかに速い収束を予測します (場合によっては $\sqrt{n}$ のオーダー)。
私たちは、一般的な機械学習データセットでは、実際に境界がはるかに狭いことを経験的に示しています。
さらに、同様の改善を加えて、解析を非滑らかな凸問題とより一般的な有限和問題に拡張します。

要約(オリジナル)

Stochastic gradient descent (SGD) is perhaps the most prevalent optimization method in modern machine learning. Contrary to the empirical practice of sampling from the datasets without replacement and with (possible) reshuffling at each epoch, the theoretical counterpart of SGD usually relies on the assumption of sampling with replacement. It is only very recently that SGD with sampling without replacement — shuffled SGD — has been analyzed. For convex finite sum problems with $n$ components and under the $L$-smoothness assumption for each component function, there are matching upper and lower bounds, under sufficiently small — $\mathcal{O}(\frac{1}{nL})$ — step sizes. Yet those bounds appear too pessimistic — in fact, the predicted performance is generally no better than for full gradient descent — and do not agree with the empirical observations. In this work, to narrow the gap between the theory and practice of shuffled SGD, we sharpen the focus from general finite sum problems to empirical risk minimization with linear predictors. This allows us to take a primal-dual perspective and interpret shuffled SGD as a primal-dual method with cyclic coordinate updates on the dual side. Leveraging this perspective, we prove fine-grained complexity bounds that depend on the data matrix and are never worse than what is predicted by the existing bounds. Notably, our bounds predict much faster convergence than the existing analyses — by a factor of the order of $\sqrt{n}$ in some cases. We empirically demonstrate that on common machine learning datasets our bounds are indeed much tighter. We further extend our analysis to nonsmooth convex problems and more general finite-sum problems, with similar improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google