Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems

要約

確率的最適化は、機械学習における目的関数の最小化に広く応用されており、その実際的な成功を理解するために多くの理論的研究が行われています。
既存の研究のほとんどは最適化誤差の収束に焦点を当てていますが、確率的最適化の一般化分析は大幅に遅れています。
これは、実際によく遭遇する非凸問題や非滑らかな問題の場合に特に当てはまります。
この論文では、非凸および非滑らかな問題に対する確率的最適化の系統的安定性および一般化分析を初期化します。
我々は、新しいアルゴリズムによる安定性尺度を導入し、母集団勾配と経験的勾配の間のギャップに関するそれらの定量的関係を確立します。その後、経験的リスクのモロー包絡線と母集団リスクのモロー包絡線の間のギャップを研究するためにそれをさらに拡張します。
私たちの知る限り、勾配またはモロー包絡線の観点から安定性と一般化の間の定量的な関係は文献で研究されていません。
サンプリングによって決定されるアルゴリズムのクラスを導入し、これに対して 3 つの安定性尺度の境界を開発します。
最後に、これらの議論を適用して確率的勾配降下法とその適応バリアントの誤差限界を導き出し、ステップ サイズと反復数を調整することで暗黙的な正則化を実現する方法を示します。

要約(オリジナル)

Stochastic optimization has found wide applications in minimizing objective functions in machine learning, which motivates a lot of theoretical studies to understand its practical success. Most of existing studies focus on the convergence of optimization errors, while the generalization analysis of stochastic optimization is much lagging behind. This is especially the case for nonconvex and nonsmooth problems often encountered in practice. In this paper, we initialize a systematic stability and generalization analysis of stochastic optimization on nonconvex and nonsmooth problems. We introduce novel algorithmic stability measures and establish their quantitative connection on the gap between population gradients and empirical gradients, which is then further extended to study the gap between the Moreau envelope of the empirical risk and that of the population risk. To our knowledge, these quantitative connection between stability and generalization in terms of either gradients or Moreau envelopes have not been studied in the literature. We introduce a class of sampling-determined algorithms, for which we develop bounds for three stability measures. Finally, we apply these discussions to derive error bounds for stochastic gradient descent and its adaptive variant, where we show how to achieve an implicit regularization by tuning the step sizes and the number of iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google