Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models

要約

この論文では、線形回帰におけるドロップアウト正則化による確率的勾配降下法 (SGD) の反復のオンライン推論のための漸近理論を提案します。
具体的には、ドロップアウト再帰関数の一意の定常分布の存在を示すために、一定ステップサイズの SGD ドロップアウト反復に対する幾何モーメント短縮 (GMC) を確立します。
GMC プロパティにより、初期化に関係なく、ドロップアウト反復と $\ell^2$ 正規化反復間の差異に対する急冷中心極限定理 (CLT) が提供されます。
ドロップアウトを伴う Ruppert-Polyak 平均 SGD (ASGD) と $\ell^2$ 正規化反復間の差の CLT も表示されます。
これらの漸近正規性の結果に基づいて、計算時間とメモリの効率を高めて再帰的な方法で推論を容易にするために、ASGD ドロップアウトの長期共分散行列のオンライン推定器をさらに導入します。
数値実験は、十分に大きなサンプルの場合、ドロップアウトを伴う ASGD に対して提案された信頼区間が名目上のカバー率にほぼ達することを示しています。

要約(オリジナル)

This paper proposes an asymptotic theory for online inference of the stochastic gradient descent (SGD) iterates with dropout regularization in linear regression. Specifically, we establish the geometric-moment contraction (GMC) for constant step-size SGD dropout iterates to show the existence of a unique stationary distribution of the dropout recursive function. By the GMC property, we provide quenched central limit theorems (CLT) for the difference between dropout and $\ell^2$-regularized iterates, regardless of initialization. The CLT for the difference between the Ruppert-Polyak averaged SGD (ASGD) with dropout and $\ell^2$-regularized iterates is also presented. Based on these asymptotic normality results, we further introduce an online estimator for the long-run covariance matrix of ASGD dropout to facilitate inference in a recursive manner with efficiency in computational time and memory. The numerical experiments demonstrate that for sufficiently large samples, the proposed confidence intervals for ASGD with dropout nearly achieve the nominal coverage probability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google