Conjugate-Gradient-like Based Adaptive Moment Estimation Optimization Algorithm for Deep Learning

要約

ディープ ニューラル ネットワークのトレーニングは困難な作業です。
トレーニングを高速化し、ディープ ニューラル ネットワークのパフォーマンスを向上させるために、バニラの共役勾配を共役勾配のようなものとして修正し、それを汎用の Adam に組み込み、ディープ ニューラル ネットワーク用の CG-like-Adam という名前の新しい最適化アルゴリズムを提案します。
学ぶ。
具体的には、一般的な Adam の 1 次モーメント推定と 2 次モーメント推定の両方が共役勾配のようなものに置き換えられます。
収束解析は、1 次モーメント推定の指数移動平均係数が一定で、1 次モーメント推定に偏りがない場合を処理します。
数値実験により、CIFAR10/100 データセットに基づいて提案されたアルゴリズムの優位性が示されています。

要約(オリジナル)

Training deep neural networks is a challenging task. In order to speed up training and enhance the performance of deep neural networks, we rectify the vanilla conjugate gradient as conjugate-gradient-like and incorporate it into the generic Adam, and thus propose a new optimization algorithm named CG-like-Adam for deep learning. Specifically, both the first-order and the second-order moment estimation of generic Adam are replaced by the conjugate-gradient-like. Convergence analysis handles the cases where the exponential moving average coefficient of the first-order moment estimation is constant and the first-order moment estimation is unbiased. Numerical experiments show the superiority of the proposed algorithm based on the CIFAR10/100 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google