Fast Evaluation of DNN for Past Dataset in Incremental Learning

要約

ディープ ニューラル ネットワーク (DNN) を含むシステムの動作中に、トレーニング データセットに含まれていない新しい入力値が DNN に与えられます。
このような場合、DNN は新しい入力値を使用して段階的にトレーニングされる可能性があります。
ただし、そのトレーニングにより、以前に取得され、過去のトレーニングに使用されたデータセットに関する DNN の精度が低下する可能性があります。
過去のデータセットの精度に対する追加のトレーニングの効果を評価する必要があります。
しかし、過去のデータセットに含まれるすべての入力値をテストして評価するには時間がかかります。
そこで、過去のデータセットの精度への影響を迅速に評価する新しい手法を提案します。
提案手法では、学習前に DNN を実行することで、過去のデータセットのパラメータ値（重みやバイアスなど）の勾配を抽出します。
そして、学習後にパラメータ値の勾配と更新差分から過去のデータセットに対する精度への影響を計算します。
提案手法の有用性を示すために、いくつかのデータセットを使用した実験結果を示します。
結果は、提案手法が一定時間内の追加トレーニングによる精度変化を推定できることを示しています。

要約(オリジナル)

During the operation of a system including a deep neural network (DNN), new input values that were not included in the training dataset are given to the DNN. In such a case, the DNN may be incrementally trained with the new input values; however, that training may reduce the accuracy of the DNN in regard to the dataset that was previously obtained and used for the past training. It is necessary to evaluate the effect of the additional training on the accuracy for the past dataset. However, evaluation by testing all the input values included in the past dataset takes time. Therefore, we propose a new method to quickly evaluate the effect on the accuracy for the past dataset. In the proposed method, the gradient of the parameter values (such as weight and bias) for the past dataset is extracted by running the DNN before the training. Then, after the training, its effect on the accuracy with respect to the past dataset is calculated from the gradient and update differences of the parameter values. To show the usefulness of the proposed method, we present experimental results with several datasets. The results show that the proposed method can estimate the accuracy change by additional training in a constant time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google