Continual Learning of Large Language Models: A Comprehensive Survey

要約

事前に収集された静的な一般的なデータセットでトレーニングされた大規模言語モデル (LLM) の最近の成功は、数多くの研究の方向性と応用を引き起こしました。
そのような方向性の 1 つは、事前トレーニングされた LLM を動的なデータ配布、タスク構造、およびユーザー設定に統合するという重要な課題に対処するものです。
事前トレーニングされた LLM は、特定のニーズに合わせて調整されると、以前の知識領域でパフォーマンスが大幅に低下することがよくあります。これは「壊滅的な忘却」として知られる現象です。
継続学習 (CL) コミュニティで広く研究されていますが、LLM の領域でも新たな兆候を示しています。
この調査では、CL の文脈における LLM に関する現在の研究の進捗状況の包括的な概要を提供します。
この調査は 4 つの主要なセクションで構成されています。まず、継続的な学習 LLM の概要について説明します。LLM は、2 つの継続性の方向で構成されます。垂直方向の継続性 (または垂直方向の継続的学習)、つまり一般的な機能から特定の機能への継続的な適応、および水平方向の継続性 (または垂直方向の継続的学習) です。
水平的継続的学習）、つまり、時間と領域を超えた継続的適応（セクション 3）。
次に、最新の CL のコンテキストにおける LLM の学習の 3 つの段階、つまり継続的事前トレーニング (CPT)、ドメイン適応型事前トレーニング (DAP)、および継続的微調整 (CFT) を要約します (セクション 4)。
次に、LLM による継続学習のための評価プロトコルの概要と、現在利用可能なデータ ソースを説明します (セクション 5)。
最後に、LLM の継続的な学習に関する興味深い質問について説明します (セクション 6)。
この調査で調査された論文の完全なリストは、https://github.com/Wang-ML-Lab/llm-continual-learning-survey で入手できます。

要約(オリジナル)

The recent success of large language models (LLMs) trained on static, pre-collected, general datasets has sparked numerous research directions and applications. One such direction addresses the non-trivial challenge of integrating pre-trained LLMs into dynamic data distributions, task structures, and user preferences. Pre-trained LLMs, when tailored for specific needs, often experience significant performance degradation in previous knowledge domains — a phenomenon known as ‘catastrophic forgetting’. While extensively studied in the continual learning (CL) community, it presents new manifestations in the realm of LLMs. In this survey, we provide a comprehensive overview of the current research progress on LLMs within the context of CL. This survey is structured into four main sections: we first describe an overview of continually learning LLMs, consisting of two directions of continuity: vertical continuity (or vertical continual learning), i.e., continual adaptation from general to specific capabilities, and horizontal continuity (or horizontal continual learning), i.e., continual adaptation across time and domains (Section 3). We then summarize three stages of learning LLMs in the context of modern CL: Continual Pre-Training (CPT), Domain-Adaptive Pre-training (DAP), and Continual Fine-Tuning (CFT) (Section 4). Then we provide an overview of evaluation protocols for continual learning with LLMs, along with the current available data sources (Section 5). Finally, we discuss intriguing questions pertaining to continual learning for LLMs (Section 6). The full list of papers examined in this survey is available at https://github.com/Wang-ML-Lab/llm-continual-learning-survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google