Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal

要約

大規模言語モデル（LLM）は、継続的な学習中に壊滅的な忘却に悩まされる。従来のリハーサルに基づく方法では、モデルの能力を維持するために過去の学習データに依存しているが、これは実世界のアプリケーションでは実現不可能な場合がある。公開されたLLMチェックポイントに基づいて継続学習を行う場合、元の学習データが存在しない可能性がある。この課題を解決するために、我々はLLMを利用してリハーサルのための合成インスタンスを生成するSSR（Self-Synthesized Rehearsal）と呼ばれるフレームワークを提案する。具体的には、まず、文脈内学習用の基本LLMを用いて合成インスタンスを生成する。次に、最新のLLMを利用し、合成入力に基づいて、獲得した能力を維持したまま、インスタンス出力を改良する。最後に、将来の段階でのリハーサルのために、多様で高品質な合成インスタンスを選択する。実験の結果、SSRは従来のリハーサルに基づくアプローチと比較して、よりデータ効率に優れながら、優れた、あるいは同等の性能を達成することが実証された。また、SSRは一般的なドメインにおけるLLMの汎化能力を効果的に保持する。

要約(オリジナル)

Large language models (LLMs) suffer from catastrophic forgetting during continual learning. Conventional rehearsal-based methods rely on previous training data to retain the model’s ability, which may not be feasible in real-world applications. When conducting continual learning based on a publicly-released LLM checkpoint, the availability of the original training data may be non-existent. To address this challenge, we propose a framework called Self-Synthesized Rehearsal (SSR) that uses the LLM to generate synthetic instances for rehearsal. Concretely, we first employ the base LLM for in-context learning to generate synthetic instances. Subsequently, we utilize the latest LLM to refine the instance outputs based on the synthetic inputs, preserving its acquired ability. Finally, we select diverse high-quality synthetic instances for rehearsal in future stages. Experimental results demonstrate that SSR achieves superior or comparable performance compared to conventional rehearsal-based approaches while being more data-efficient. Besides, SSR effectively preserves the generalization capabilities of LLMs in general domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL