Replay to Remember: Retaining Domain Knowledge in Streaming Language Models

要約

大規模な言語モデル（LLMS）での継続的な学習は、通常、壊滅的な忘却の重要な課題に遭遇します。これは、以前に獲得した知識が新しいデータにさらされると悪化します。
リプレイバッファーやパラメーター効率の高いチューニング（低ランク適応やLORAなど）などの手法が提案されていますが、厳格な計算およびデータストリーム制約の下でリアルタイムドメイン適応を調査する研究はほとんどありません。
この論文では、3つの多様な知識領域の現実的なストリーミング設定でLORAと最小限のリプレイメカニズムを組み合わせた軽量の方法を示します：医療質問応答、遺伝学、および法律。
困惑、セマンティックの類似性、およびGPTベースの人間のような評価メトリックを使用して、時間の経過とともにモデルの適応、忘却、回復を定量化します。
私たちの実験は、壊滅的な忘却が自然に起こることを明らかにしていますが、最小限のリプレイでさえもドメイン固有の知識を大幅に安定させ、部分的に回復することが明らかになりました。
この研究は、リソースが制約された現実世界のシナリオに適応性のあるLLMを展開するための実用的な洞察を提供しています。

要約(オリジナル)

Continual learning in large language models (LLMs) typically encounters the critical challenge of catastrophic forgetting, where previously acquired knowledge deteriorates upon exposure to new data. While techniques like replay buffers and parameter-efficient tuning (e.g., Low-Rank Adaptation or LoRA) have been proposed, few studies investigate real-time domain adaptation under strict computational and data-stream constraints. In this paper, we demonstrate a lightweight method combining LoRA and a minimal replay mechanism in a realistic streaming setting across three diverse knowledge domains: medical question answering, genetics, and law. Using perplexity, semantic similarity, and GPT-based human-like evaluation metrics, we quantify the model’s adaptation, forgetting, and recovery over time. Our experiments reveal that while catastrophic forgetting naturally occurs, even minimal replay significantly stabilizes and partially restores domain-specific knowledge. This study contributes practical insights for deploying adaptable LLMs in resource-constrained, real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google