Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models

要約

大規模な言語モデル（LLM）は、自然言語処理において顕著な能力を示しますが、新しいタスクを学ぶときに壊滅的な忘却に直面します。新しいドメインへの適応により、以前のタスクでのパフォーマンスが大幅に低下します。
この論文では、LORA構造に関するサブスペース正規化方法である制御されたLora（Clora）を提案します。
モデル容量に最小限の制約を導入しながら出力変化のスケールを削減することを目指して、CloraはMatrixのヌル空間を更新する方向に制約を課します。
1段階のLLM Finetuningタスクと継続的な学習設定での実験結果は、壊滅的な忘却緩和を伴う効果的なパラメーター効率的な微調整法としてのCloraの超高度を強調しています。

要約(オリジナル)

Large language models (LLMs) exhibit remarkable capabilities in natural language processing but face catastrophic forgetting when learning new tasks, where adaptation to a new domain leads to a substantial decline in performance on previous tasks. In this paper, we propose Controlled LoRA (CLoRA), a sub-space regularization method on LoRA structure. Aiming to reduce the scale of output change while introduce minimal constraint on model capacity, CLoRA imposes constraint on the direction of updating matrix’s null space. Experimental results on one-stage LLM finetuning tasks and continual learning settings highlight the superority of CLoRA as a effective parameter efficient finetuning method with catastrophic forgetting mitigating.Further investigation for model parameters indicates that CLoRA effectively balances the trade-off between model capacity and degree of forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google