Towards Lifelong Learning of Large Language Models: A Survey

要約

大規模言語モデル (LLM) のアプリケーションがさまざまな分野に拡大するにつれて、データ、タスク、ユーザー設定の継続的な変化に適応するこれらのモデルの機能が重要になります。
静的なデータセットに依存する従来のトレーニング方法は、現実世界の情報の動的な性質に対処するにはますます不十分になってきています。
継続的学習または増分学習としても知られる生涯学習は、LLM が運用期間を通じて継続的かつ適応的に学習できるようにすることでこの課題に対処し、以前に学習した情報を保持しながら新しい知識を統合し、壊滅的な忘却を防ぎます。
この調査では、生涯学習の洗練された状況を掘り下げ、戦略を内部知識と外部知識の 2 つの主要なグループに分類しています。
内部ナレッジには継続的な事前トレーニングと継続的な微調整が含まれており、それぞれがさまざまなシナリオにおける LLM の適応性を強化します。
外部知識には、検索ベースおよびツールベースの生涯学習が含まれ、外部データ ソースと計算ツールを活用して、コア パラメーターを変更せずにモデルの機能を拡張します。
私たちの調査の主な貢献は次のとおりです。(1) 生涯学習に関する広範な文献を 12 のシナリオに分類する新しい分類法を導入しました。
(2) すべての生涯学習シナリオにわたる共通のテクニックを特定し、既存の文献を各シナリオ内のさまざまなテクニック グループに分類する。
(3) LLM 以前の時代にはあまり検討されていなかった、モデル拡張やデータ選択などの新しい技術に焦点を当てます。
この調査は、これらのグループとそれぞれのカテゴリの詳細な調査を通じて、現実世界のアプリケーションにおける LLM の適応性、信頼性、および全体的なパフォーマンスを向上させることを目的としています。

要約(オリジナル)

As the applications of large language models (LLMs) expand across diverse fields, the ability of these models to adapt to ongoing changes in data, tasks, and user preferences becomes crucial. Traditional training methods, relying on static datasets, are increasingly inadequate for coping with the dynamic nature of real-world information. Lifelong learning, also known as continual or incremental learning, addresses this challenge by enabling LLMs to learn continuously and adaptively over their operational lifetime, integrating new knowledge while retaining previously learned information and preventing catastrophic forgetting. This survey delves into the sophisticated landscape of lifelong learning, categorizing strategies into two primary groups: Internal Knowledge and External Knowledge. Internal Knowledge includes continual pretraining and continual finetuning, each enhancing the adaptability of LLMs in various scenarios. External Knowledge encompasses retrieval-based and tool-based lifelong learning, leveraging external data sources and computational tools to extend the model’s capabilities without modifying core parameters. The key contributions of our survey are: (1) Introducing a novel taxonomy categorizing the extensive literature of lifelong learning into 12 scenarios; (2) Identifying common techniques across all lifelong learning scenarios and classifying existing literature into various technique groups within each scenario; (3) Highlighting emerging techniques such as model expansion and data selection, which were less explored in the pre-LLM era. Through a detailed examination of these groups and their respective categories, this survey aims to enhance the adaptability, reliability, and overall performance of LLMs in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google