An Effective Dynamic Gradient Calibration Method for Continual Learning

要約

継続学習 (CL) は機械学習の基本的なトピックであり、その目標は、継続的に受信するデータとタスクを使用してモデルをトレーニングすることです。
メモリの制限により、すべての履歴データを保存することはできないため、「壊滅的な忘却」の問題、つまり、後期の情報が欠落しているために前のタスクのパフォーマンスが大幅に低下する可能性があります。
多くの洗練された方法が提案されていますが、壊滅的な忘却現象は実際にはまだうまく回避できません。
この論文では、勾配の観点から問題を研究します。その目的は、モデルの各更新ステップで勾配を調整する効果的なアルゴリズムを開発することです。
つまり、私たちの目標は、大量の履歴データが利用できない状況下で、モデルが正しい方向に更新されるように導くことです。
私たちのアイデアは、確率的勾配降下法アルゴリズムにおける勾配推定の分散を削減するための独創的な確率的分散削減法 (SVRG や SAGA など) から部分的にインスピレーションを得ています。
もう 1 つの利点は、私たちのアプローチが一般的なツールとして使用できることです。これをいくつかの既存の一般的な CL メソッドと統合して、より優れたパフォーマンスを実現できることです。
また、実際のパフォーマンスを評価するために、いくつかのベンチマーク データセットに対して一連の実験を実施します。

要約(オリジナル)

Continual learning (CL) is a fundamental topic in machine learning, where the goal is to train a model with continuously incoming data and tasks. Due to the memory limit, we cannot store all the historical data, and therefore confront the “catastrophic forgetting” problem, i.e., the performance on the previous tasks can substantially decrease because of the missing information in the latter period. Though a number of elegant methods have been proposed, the catastrophic forgetting phenomenon still cannot be well avoided in practice. In this paper, we study the problem from the gradient perspective, where our aim is to develop an effective algorithm to calibrate the gradient in each updating step of the model; namely, our goal is to guide the model to be updated in the right direction under the situation that a large amount of historical data are unavailable. Our idea is partly inspired by the seminal stochastic variance reduction methods (e.g., SVRG and SAGA) for reducing the variance of gradient estimation in stochastic gradient descent algorithms. Another benefit is that our approach can be used as a general tool, which is able to be incorporated with several existing popular CL methods to achieve better performance. We also conduct a set of experiments on several benchmark datasets to evaluate the performance in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google