Continual Learning with Pre-Trained Models: A Survey

要約

現在、現実世界のアプリケーションはストリーミング データに直面することが多く、データの進化に応じて学習システムが新しい知識を吸収する必要があります。
継続学習 (CL) は、この目標を達成すると同時に、新しい知識を学習するときに以前の知識を壊滅的に忘れてしまうのを克服することを目的としています。
一般的な CL メソッドは、受信データに応じて拡張するモデルを最初から構築します。
しかし、事前学習済みモデル (PTM) 時代の到来により、特に PTM の堅牢な表現機能の活用に関して、多大な研究の関心が高まっています。
このペーパーでは、PTM ベースの CL の最新の進歩に関する包括的な調査を紹介します。
既存の方法論を 3 つの異なるグループに分類し、それらの類似点、相違点、およびそれぞれの長所と短所を比較分析します。
さらに、比較における公平性に関する懸念を強調するために、さまざまな最先端の方法を比較した実証研究を提供します。
これらの評価を再現するソース コードは、https://github.com/sun-hailong/LAMDA-PILOT から入手できます。

要約(オリジナル)

Nowadays, real-world applications often face streaming data, which requires the learning system to absorb new knowledge as data evolves. Continual Learning (CL) aims to achieve this goal and meanwhile overcome the catastrophic forgetting of former knowledge when learning new ones. Typical CL methods build the model from scratch to grow with incoming data. However, the advent of the pre-trained model (PTM) era has sparked immense research interest, particularly in leveraging PTMs’ robust representational capabilities. This paper presents a comprehensive survey of the latest advancements in PTM-based CL. We categorize existing methodologies into three distinct groups, providing a comparative analysis of their similarities, differences, and respective advantages and disadvantages. Additionally, we offer an empirical study contrasting various state-of-the-art methods to highlight concerns regarding fairness in comparisons. The source code to reproduce these evaluations is available at: https://github.com/sun-hailong/LAMDA-PILOT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google