Improving Plasticity in Online Continual Learning via Collaborative Learning

要約

オンライン継続学習 (CL) は、絶え間なく出現する新しい分類タスクを連続データ ストリームから学習するという問題を解決します。
オフラインの対応物とは異なり、オンライン CL ではトレーニング データは 1 回しか確認できません。
既存のオンライン CL 研究のほとんどは、壊滅的な忘却 (つまり、モデルの安定性) がほぼ唯一の課題であると考えています。
この論文では、新しい知識を獲得するモデルの能力 (つまり、モデルの可塑性) がオンライン CL のもう 1 つの課題であると主張します。
再生ベースの戦略は致命的な忘却を軽減するのに効果的であることが示されていますが、モデルの可塑性の改善に対する研究の注目には顕著なギャップがあります。
この目的を達成するために、新しい概念を獲得するモデルの能力を向上させるための協調学習ベースの戦略である協調継続学習 (CCL) を提案します。
さらに、モデルのトレーニングを強化するための協調学習スキームである蒸留チェーン (DC) を導入します。
既存の代表的なオンラインCL作品にCCL-DCを適応させます。
広範な実験により、学習者が最先端のオンライン CL メソッドで十分に訓練されている場合でも、私たちの戦略によりモデルの可塑性が劇的に向上し、それによって全体的なパフォーマンスが大幅に向上することが実証されました。
私たちの作業のソース コードは https://github.com/maorong-wang/CCL-DC で入手できます。

要約(オリジナル)

Online Continual Learning (CL) solves the problem of learning the ever-emerging new classification tasks from a continuous data stream. Unlike its offline counterpart, in online CL, the training data can only be seen once. Most existing online CL research regards catastrophic forgetting (i.e., model stability) as almost the only challenge. In this paper, we argue that the model’s capability to acquire new knowledge (i.e., model plasticity) is another challenge in online CL. While replay-based strategies have been shown to be effective in alleviating catastrophic forgetting, there is a notable gap in research attention toward improving model plasticity. To this end, we propose Collaborative Continual Learning (CCL), a collaborative learning based strategy to improve the model’s capability in acquiring new concepts. Additionally, we introduce Distillation Chain (DC), a collaborative learning scheme to boost the training of the models. We adapt CCL-DC to existing representative online CL works. Extensive experiments demonstrate that even if the learners are well-trained with state-of-the-art online CL methods, our strategy can still improve model plasticity dramatically, and thereby improve the overall performance by a large margin. The source code of our work is available at https://github.com/maorong-wang/CCL-DC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google