Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality

要約

確率的勾配降下法 (SGD) は、計算効率とメモリ効率が高いため、最新の統計学習と機械学習で最もシンプルで最も人気のあるアルゴリズムの 1 つです。
さまざまな設定で SGD の収束を加速するために、さまざまな平均化スキームが提案されています。
このペーパーでは、SGD の一般的な平均化スキームを検討します。
具体的には、広範囲の加重平均 SGD 解の漸近正規性を確立し、漸近的に有効なオンライン推論アプローチを提供します。
さらに、非漸近平均二乗誤差 (MSE) の観点から線形モデルの最適な重みから洞察を引き出し、最適な統計レートと良好な非漸近収束の両方を示す適応平均スキームを提案します。

要約(オリジナル)

Stochastic Gradient Descent (SGD) is one of the simplest and most popular algorithms in modern statistical and machine learning due to its computational and memory efficiency. Various averaging schemes have been proposed to accelerate the convergence of SGD in different settings. In this paper, we explore a general averaging scheme for SGD. Specifically, we establish the asymptotic normality of a broad range of weighted averaged SGD solutions and provide asymptotically valid online inference approaches. Furthermore, we propose an adaptive averaging scheme that exhibits both optimal statistical rate and favorable non-asymptotic convergence, drawing insights from the optimal weight for the linear model in terms of non-asymptotic mean squared error (MSE).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google