Dissecting Continual Learning a Structural and Data Analysis

要約

継続的学習（Continual Learning: CL）は、生涯学習を実現するためのアルゴリズムを考案する分野である。深層学習モデルに影響を与える欠点であり、壊滅的忘却と呼ばれる、以前に獲得した概念の知識破壊を克服することは難しい課題である。現在、深層学習は、モデル化されたデータがその後の学習セッションで大きな分布変化を起こさない場合には素晴らしい結果を得ることができますが、このようなシステムを漸進的な設定にさらすと、性能が急速に低下してしまいます。この限界を克服することは、安定性と可塑性を備えた真に知的なシステムを構築する上で重要である。また、更新されたデータを用いて一から学習し直すという困難な制限を克服することができる。本論文では、この問題に多方面から取り組む。まず、リハーサルに基づく手法（メモリバッファを用いるシステム）において、リハーサルバッファに格納されるデータの量は、データの質よりも重要な要素であることを示す。次に、ViTsアーキテクチャにおける漸進的学習の初期の研究の一つとして、機能的正則化、重み正則化、注意正則化のアプローチを比較し、効果的な新しい非対称損失を提案する。最後に、事前学習とそれが継続学習のパフォーマンスにどのような影響を与えるかについての研究を行い、この分野の効果的な進歩についていくつかの疑問を提起する。そして、今後の方向性と閉会の辞で締めくくる。

要約(オリジナル)

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL