Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction

要約

ディープ ニューラル ネットワーク (DNN) は、コンピューター ビジョンや自然言語処理など、さまざまな分野で目覚ましい成功を収めています。
ただし、効果的な DNN モデルのトレーニングには依然として課題があります。
この論文は、モデルのパフォーマンスを向上させることを目的として、DNN のトレーニング効果を最適化する方法を提案することを目的としています。
まず、DNN パラメーターがトレーニング プロセス中に特定の法則に従って変化するという観察に基づいて、モデルのトレーニング効率とパフォーマンスを向上させるためのパラメーター予測の可能性が発見されます。
次に、DNN モデル パラメーターの大きさ、ハードウェアの制限、およびノイズ耐性のための確率的勾配降下法 (SGD) の特性を考慮して、パラメーター線形予測 (PLP) メソッドを利用して DNN パラメーター予測を実行します。
最後に、いくつかの代表的なバックボーンに対して検証が実行されます。
実験結果は、同じトレーニング条件とエポックの下で、提案された PLP 手法を採用することにより、通常のトレーニング方法と比較して、最適なモデルは平均約 1% の精度向上と、0.01 のトップ 1/トップ 5 エラーの削減を得ることができることを示しています。
CIFAR-100 データセットに基づく Vgg16、Resnet18、GoogLeNet は、さまざまな DNN 構造に対する提案手法の有効性を示し、DNN トレーニングの効率とパフォーマンスを向上させる能力を検証しました。

要約(オリジナル)

Deep neural networks (DNN) have achieved remarkable success in various fields, including computer vision and natural language processing. However, training an effective DNN model still poses challenges. This paper aims to propose a method to optimize the training effectiveness of DNN, with the goal of improving model performance. Firstly, based on the observation that the DNN parameters change in certain laws during training process, the potential of parameter prediction for improving model training efficiency and performance is discovered. Secondly, considering the magnitude of DNN model parameters, hardware limitations and characteristics of Stochastic Gradient Descent (SGD) for noise tolerance, a Parameter Linear Prediction (PLP) method is exploit to perform DNN parameter prediction. Finally, validations are carried out on some representative backbones. Experiment results show that compare to the normal training ways, under the same training conditions and epochs, by employing proposed PLP method, the optimal model is able to obtain average about 1% accuracy improvement and 0.01 top-1/top-5 error reduction for Vgg16, Resnet18 and GoogLeNet based on CIFAR-100 dataset, which shown the effectiveness of the proposed method on different DNN structures, and validated its capacity in enhancing DNN training efficiency and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google