Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning

要約

大規模な言語モデル（LLMS）での継続的な学習は、壊滅的な忘却を受けやすく、新しいタスクに適応すると、以前に学んだタスクのパフォーマンスが大幅に低下します。
既存の方法は通常、モデルの表現性を制限し、タスクごとに追加のパラメーターを導入する低ランクのパラメーター効率の高い更新に依存し、スケーラビリティの問題につながります。
これらの制限に対処するために、適応型特異値分解（SVD）を活用する新しい継続的な完全な微調整アプローチを提案します。
この方法は、タスク固有の低ランクパラメーターサブスペースを動的に識別し、更新を制約して、以前のタスクに関連する重要な方向に直交するように制約し、追加のパラメーターオーバーヘッドまたは以前のタスクグラデーションを保存せずに干渉を効果的に最小限に抑えます。
分類、生成、推論を含む多様なタスクにまたがる、エンコーダデコーダー（T5-Large）とデコーダーのみ（LLAMA-2 7B）モデルの両方を使用して、標準の継続学習ベンチマークでアプローチを広範囲に評価します。
経験的に、私たちの方法は、O-Loraのような最近のベースラインよりも最大7％の平均精度を達成し、特に忘れが緩和されないレベルに近づくことを減らすことにより、モデルの一般的な言語能力、指導中の精度、および継続的な学習プロセス全体の安全性を顕著に維持します。
当社の適応型SVDフレームワークは、モデルの可塑性と知識保持のバランスを効果的にバランスさせ、大規模な言語モデルの継続的な学習シナリオのための実用的で理論的に根拠があり、計算的にスケーラブルなソリューションを提供します。

要約(オリジナル)

Continual learning in large language models (LLMs) is prone to catastrophic forgetting, where adapting to new tasks significantly degrades performance on previously learned ones. Existing methods typically rely on low-rank, parameter-efficient updates that limit the model’s expressivity and introduce additional parameters per task, leading to scalability issues. To address these limitations, we propose a novel continual full fine-tuning approach leveraging adaptive singular value decomposition (SVD). Our method dynamically identifies task-specific low-rank parameter subspaces and constrains updates to be orthogonal to critical directions associated with prior tasks, thus effectively minimizing interference without additional parameter overhead or storing previous task gradients. We evaluate our approach extensively on standard continual learning benchmarks using both encoder-decoder (T5-Large) and decoder-only (LLaMA-2 7B) models, spanning diverse tasks including classification, generation, and reasoning. Empirically, our method achieves state-of-the-art results, up to 7% higher average accuracy than recent baselines like O-LoRA, and notably maintains the model’s general linguistic capabilities, instruction-following accuracy, and safety throughout the continual learning process by reducing forgetting to near-negligible levels. Our adaptive SVD framework effectively balances model plasticity and knowledge retention, providing a practical, theoretically grounded, and computationally scalable solution for continual learning scenarios in large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google