Stochastic gradient descent for streaming linear and rectified linear systems with adversarial corruptions

要約

我々は、完全なストリーミング設定に対する Massart ノイズ (敵対的半ランダム破損モデル) の下での線形回帰および ReLU 回帰のための確率的勾配降下法である SGD-exp を提案します。
我々は、最大 $50\%$ Massart 破損率、および対称の忘却破損の場合の任意の破損率で、真のパラメータに対する SGD-exp の新しいほぼ線形収束保証を示します。
これは、ストリーミング設定におけるロバストな ReLU 回帰の最初の収束保証結果であり、実際の効率で知られる指数関数的に減衰するステップ サイズの選択により、$L_1$ 線形回帰に対する以前のロバストな手法よりも収束率が向上していることを示しています。
。
私たちの分析は離散確率過程のドリフト分析に基づいており、これ自体も興味深い可能性があります。

要約(オリジナル)

We propose SGD-exp, a stochastic gradient descent approach for linear and ReLU regressions under Massart noise (adversarial semi-random corruption model) for the fully streaming setting. We show novel nearly linear convergence guarantees of SGD-exp to the true parameter with up to $50\%$ Massart corruption rate, and with any corruption rate in the case of symmetric oblivious corruptions. This is the first convergence guarantee result for robust ReLU regression in the streaming setting, and it shows the improved convergence rate over previous robust methods for $L_1$ linear regression due to a choice of an exponentially decaying step size, known for its efficiency in practice. Our analysis is based on the drift analysis of a discrete stochastic process, which could also be interesting on its own.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google