Stochastic Gradient Descent for Nonparametric Regression

要約

この論文では、有利なメモリ ストレージと計算要件を享受できるノンパラメトリック加法モデルをトレーニングするための反復アルゴリズムを紹介します。
このアルゴリズムは、コンポーネント関数の切り捨て基底展開の係数に適用される、確率的勾配降下法に相当する関数とみなすことができます。
結果として得られる推定量が、モデルの誤った仕様を許容するオラクル不等式を満たすことを示します。
明確に指定された設定では、トレーニングの 3 つの異なる段階にわたって学習率を慎重に選択することで、そのリスクがデータの次元とトレーニング サンプルのサイズへの依存性の観点からミニマックス最適であることを実証します。
また、共変量がその領域で完全にサポートされていない場合でも、多項式の収束率も提供します。

要約(オリジナル)

This paper introduces an iterative algorithm for training nonparametric additive models that enjoys favorable memory storage and computational requirements. The algorithm can be viewed as the functional counterpart of stochastic gradient descent, applied to the coefficients of a truncated basis expansion of the component functions. We show that the resulting estimator satisfies an oracle inequality that allows for model mis-specification. In the well-specified setting, by choosing the learning rate carefully across three distinct stages of training, we demonstrate that its risk is minimax optimal in terms of the dependence on the dimensionality of the data and the size of the training sample. We also provide polynomial convergence rates even when the covariates do not have full support on their domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google