Improving Plasticity in Online Continual Learning via Collaborative Learning

要約

オンライン継続学習(CL)は、継続的なデータストリームから、常に出現する新しい分類タスクを学習するという問題を解決する。オフライン学習と異なり、オンライン継続学習では、学習データは一度しか見ることができない。既存のオンラインCL研究のほとんどは、壊滅的な忘却（すなわちモデルの安定性）をほぼ唯一の課題としている。本論文では、モデルが新しい知識を獲得する能力（すなわち、モデルの可塑性）が、オンラインCLにおけるもう一つの課題であると主張する。再生に基づく戦略は、壊滅的な忘却を緩和するのに有効であることが示されているが、モデルの可塑性を向上させる研究への注目には顕著なギャップがある。この目的のため、我々は協調的継続学習（Collaborative Continual Learning: CCL）を提案する。CCLは、モデルの新しい概念獲得能力を向上させる協調学習ベースの戦略である。さらに、モデルの学習を促進するための新しい協調学習スキームである蒸留連鎖（DC）を導入する。我々はCCL-DCを既存の代表的なオンラインCL作品に適応させた。広範な実験により、学習者が最先端のオンラインCL手法で十分に訓練されている場合でも、我々の戦略はモデルの可塑性を劇的に改善し、それによって全体的な性能を大きく改善できることが実証された。

要約(オリジナル)

Online Continual Learning (CL) solves the problem of learning the ever-emerging new classification tasks from a continuous data stream. Unlike its offline counterpart, in online CL, the training data can only be seen once. Most existing online CL research regards catastrophic forgetting (i.e., model stability) as almost the only challenge. In this paper, we argue that the model’s capability to acquire new knowledge (i.e., model plasticity) is another challenge in online CL. While replay-based strategies have been shown to be effective in alleviating catastrophic forgetting, there is a notable gap in research attention toward improving model plasticity. To this end, we propose Collaborative Continual Learning (CCL), a collaborative learning based strategy to improve the model’s capability in acquiring new concepts. Additionally, we introduce Distillation Chain (DC), a novel collaborative learning scheme to boost the training of the models. We adapted CCL-DC to existing representative online CL works. Extensive experiments demonstrate that even if the learners are well-trained with state-of-the-art online CL methods, our strategy can still improve model plasticity dramatically, and thereby improve the overall performance by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL