On the Convergence of Continual Learning with Adaptive Methods

要約

継続学習の目的の 1 つは、複数のタスクを順番に学習する際の壊滅的な忘れを防ぐことであり、既存のソリューションは可塑性と安定性のジレンマの概念化によって推進されてきました。
しかし、各連続タスクの継続学習の収束については、これまでのところあまり研究されていません。
この論文では、確率的勾配降下法を用いた記憶ベースの継続学習の収束分析と、現在のタスクのトレーニングが以前のタスクの累積的な劣化を引き起こすという経験的証拠を提供します。
我々は、以前のタスクと現在のタスクの両方のステップサイズを勾配で調整する非凸連続学習（NCCL）の適応手法を提案します。
提案手法は、論文で定義した破滅的忘却項が反復ごとに抑制されている場合、SGD 手法と同じ収束率を達成できます。
さらに、提案されたアルゴリズムが、いくつかの画像分類タスクについて既存の方法よりも継続学習のパフォーマンスを向上させることを実証します。

要約(オリジナル)

One of the objectives of continual learning is to prevent catastrophic forgetting in learning multiple tasks sequentially, and the existing solutions have been driven by the conceptualization of the plasticity-stability dilemma. However, the convergence of continual learning for each sequential task is less studied so far. In this paper, we provide a convergence analysis of memory-based continual learning with stochastic gradient descent and empirical evidence that training current tasks causes the cumulative degradation of previous tasks. We propose an adaptive method for nonconvex continual learning (NCCL), which adjusts step sizes of both previous and current tasks with the gradients. The proposed method can achieve the same convergence rate as the SGD method when the catastrophic forgetting term which we define in the paper is suppressed at each iteration. Further, we demonstrate that the proposed algorithm improves the performance of continual learning over existing methods for several image classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google