Dynamic Estimation of Learning Rates Using a Non-Linear Autoregressive Model

要約

運動量の概念を組み込んだ新しいクラスの適応非線形自己回帰 (Nlar) モデルを導入します。これは、反復数が増加するにつれて学習率と運動量の両方を動的に推定します。
私たちの方法では、勾配の成長はスケーリング (クリッピング) 関数を使用して制御され、安定した収束につながります。
このフレームワーク内で、学習率の 3 つの異なる推定量を提案し、それらの収束の理論的証明を提供します。
さらに、これらの推定量が効果的な Nlar オプティマイザーの開発をどのように支えるのかを示します。
提案された推定器と最適化器のパフォーマンスは、いくつかのデータセットと強化学習環境にわたる広範な実験を通じて厳密に評価されます。
この結果は、Nlar オプティマイザーの 2 つの重要な特徴を強調しています。それは、大きな初期学習率を含む、基礎となるパラメーターの変動にもかかわらず堅牢な収束、もう 1 つは初期エポックでの迅速な収束による強力な適応性です。

要約(オリジナル)

We introduce a new class of adaptive non-linear autoregressive (Nlar) models incorporating the concept of momentum, which dynamically estimate both the learning rates and momentum as the number of iterations increases. In our method, the growth of the gradients is controlled using a scaling (clipping) function, leading to stable convergence. Within this framework, we propose three distinct estimators for learning rates and provide theoretical proof of their convergence. We further demonstrate how these estimators underpin the development of effective Nlar optimizers. The performance of the proposed estimators and optimizers is rigorously evaluated through extensive experiments across several datasets and a reinforcement learning environment. The results highlight two key features of the Nlar optimizers: robust convergence despite variations in underlying parameters, including large initial learning rates, and strong adaptability with rapid convergence during the initial epochs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google