Stochastic gradient descent for streaming linear and rectified linear systems with Massart noise

要約

我々は、完全ストリーミング設定におけるMassartノイズ（敵対的半ランダム破損モデル）下の線形回帰とReLU回帰に対する確率的勾配降下法であるSGD-expを提案する。我々は、SGD-expが$50%$までのMassart汚損率で、また対称的な忘却汚損の場合には任意の汚損率で、真パラメータへの新しいほぼ線形収束保証を示す。これは、ストリーミング設定におけるロバストReLU回帰に対する最初の収束保証の結果であり、実際の効率で知られる指数関数的に減衰するステップサイズの選択により、$L_1$線形回帰に対する従来のロバスト手法よりも収束率が改善されたことを示す。我々の解析は離散確率過程のドリフト解析に基づいているが、これ自体も興味深い。

要約(オリジナル)

We propose SGD-exp, a stochastic gradient descent approach for linear and ReLU regressions under Massart noise (adversarial semi-random corruption model) for the fully streaming setting. We show novel nearly linear convergence guarantees of SGD-exp to the true parameter with up to $50\%$ Massart corruption rate, and with any corruption rate in the case of symmetric oblivious corruptions. This is the first convergence guarantee result for robust ReLU regression in the streaming setting, and it shows the improved convergence rate over previous robust methods for $L_1$ linear regression due to a choice of an exponentially decaying step size, known for its efficiency in practice. Our analysis is based on the drift analysis of a discrete stochastic process, which could also be interesting on its own.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL