Online Learning Under A Separable Stochastic Approximation Framework

要約

我々は、分離可能な確率的近似の枠組みの下で、機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。我々のアイデアの本質は、モデル中の特定のパラメータが他のパラメータよりも最適化しやすいという観察にある。本論文では、機械学習で一般的な、一部のパラメータが線形であるモデルに注目する。提案アルゴリズムの1つのルーチンでは、確率的ニュートン法に相当する再帰的最小二乗法（RLS）アルゴリズムによって線形パラメータを更新し、次に、更新された線形パラメータに基づき、確率的勾配法（SGD）によって非線形パラメータを更新する。提案アルゴリズムは、ブロック座標勾配降下法の確率的近似版と理解することができ、パラメータの一方は2次SGD法で更新され、他方は1次SGDで更新される。非凸の場合における提案オンラインアルゴリズムのグローバルな収束は、一次最適化条件の違反の期待値という観点から確立される。数値実験により、提案手法は他の一般的な学習アルゴリズムと比較して、収束を大幅に早め、より頑健な学習・テスト性能をもたらすことが示された。さらに、本アルゴリズムは学習率に対する感度が低く、最近提案されたslimTrainアルゴリズムを凌駕する。コードは検証のためにGitHubにアップロードされています。

要約(オリジナル)

We propose an online learning algorithm for a class of machine learning models under a separable stochastic approximation framework. The essence of our idea lies in the observation that certain parameters in the models are easier to optimize than others. In this paper, we focus on models where some parameters have a linear nature, which is common in machine learning. In one routine of the proposed algorithm, the linear parameters are updated by the recursive least squares (RLS) algorithm, which is equivalent to a stochastic Newton method; then, based on the updated linear parameters, the nonlinear parameters are updated by the stochastic gradient method (SGD). The proposed algorithm can be understood as a stochastic approximation version of block coordinate gradient descent approach in which one part of the parameters is updated by a second-order SGD method while the other part is updated by a first-order SGD. Global convergence of the proposed online algorithm for non-convex cases is established in terms of the expected violation of a first-order optimality condition. Numerical experiments have shown that the proposed method accelerates convergence significantly and produces more robust training and test performance when compared to other popular learning algorithms. Moreover, our algorithm is less sensitive to the learning rate and outperforms the recently proposed slimTrain algorithm. The code has been uploaded to GitHub for validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL