Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent

要約

確率的修正フローと呼ばれる小さな学習率領域における確率的勾配降下の新しい制限ダイナミクスを提案します。
これらの SDE は、円筒ブラウン運動によって駆動され、規則的な拡散係数を持ち、多点統計を一致させることによって、いわゆる確率的修正方程式を改善します。
2 番目の貢献として、分布に依存する確率的修正フローを導入します。これは、小さな学習率 – 無限幅スケーリング領域における確率的勾配降下の変動する制限ダイナミクスを説明することを証明します。

要約(オリジナル)

We propose new limiting dynamics for stochastic gradient descent in the small learning rate regime called stochastic modified flows. These SDEs are driven by a cylindrical Brownian motion and improve the so-called stochastic modified equations by having regular diffusion coefficients and by matching the multi-point statistics. As a second contribution, we introduce distribution dependent stochastic modified flows which we prove to describe the fluctuating limiting dynamics of stochastic gradient descent in the small learning rate – infinite width scaling regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google