Continual Learning for Large Language Models: A Survey

要約

大規模言語モデル(LLM)は、その大規模性から生じる高い学習コストのため、頻繁な再学習には適さない。しかし、LLMに新しいスキルを与え、急速に進化する人間の知識に対応させるためには、更新が必要である。本稿では、LLMの継続学習に関する最近の研究を調査する。LLMのユニークな性質のため、我々は、継続的な事前学習、命令のチューニング、およびアライメントを含む、新しい多段階分類スキームにおける継続学習技術をカタログ化する。LLMのための継続学習と、より小さなモデルで使われるより単純な適応手法や、検索補強型生成やモデル編集のような他の強化戦略との対比を行う。さらに、ベンチマークと評価に関する議論から情報を得て、この重要な課題に対するいくつかの課題と今後の研究の方向性を明らかにする。

要約(オリジナル)

Large language models (LLMs) are not amenable to frequent re-training, due to high training costs arising from their massive scale. However, updates are necessary to endow LLMs with new skills and keep them up-to-date with rapidly evolving human knowledge. This paper surveys recent works on continual learning for LLMs. Due to the unique nature of LLMs, we catalog continue learning techniques in a novel multi-staged categorization scheme, involving continual pretraining, instruction tuning, and alignment. We contrast continual learning for LLMs with simpler adaptation methods used in smaller models, as well as with other enhancement strategies like retrieval-augmented generation and model editing. Moreover, informed by a discussion of benchmarks and evaluation, we identify several challenges and future work directions for this crucial task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL