SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA

要約

パラメーター効率の高い微調整（PEFT）メソッド、特に低ランク適応（LORA）は、大規模な言語モデル（LLM）を効率的にカスタマイズするために不可欠です。
ただし、バニラロラは、収束速度が遅く、知識が問題を忘れていることに苦しんでいます。
最近の研究では、設計されたLORA初期化の力を活用して、微調整効率を高め、事前に訓練を受けたLLMの知識を維持しています。
ただし、これらの作品はどれも2つのケースに同時に対処できません。
この目的のために、効率的な微調整と知識保存の間のトレードオフをナビゲートするために設計された新しいLora初期化フレームワークであるサブスペースが制約したLora（SCLORA）を紹介します。
これを達成し、低ランクのサブスペースでトレーニング可能なLORAアダプターの出力を制約します。微調整データのコンテキスト情報が最も保存され、保存された知識のコンテキスト情報はバランスの取れた方法で最も保持されます。
このような制約により、訓練可能なウェイトは、保存された知識機能の損傷を避けながら、微調整データの主な機能に主に焦点を合わせることができます。
私たちの方法に関する理論分析を提供し、さまざまな下流タスクで安全保存や世界知識の保存を含む広範な実験を実施します。
私たちの実験では、SCLORAは優れた微調整パフォーマンスを提供することに成功し、現代のLORA初期化方法を上回り、知識を著しく減少させます。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) methods, particularly Low-Rank Adaptation (LoRA), are indispensable for efficiently customizing Large Language Models (LLMs). However, vanilla LoRA suffers from slow convergence speed and knowledge forgetting problems. Recent studies have leveraged the power of designed LoRA initialization, to enhance the fine-tuning efficiency, or to preserve knowledge in the pre-trained LLM. However, none of these works can address the two cases at the same time. To this end, we introduce Subspace-Constrained LoRA (SC-LoRA), a novel LoRA initialization framework engineered to navigate the trade-off between efficient fine-tuning and knowledge preservation. We achieve this by constraining the output of trainable LoRA adapters in a low-rank subspace, where the context information of fine-tuning data is most preserved while the context information of preserved knowledge is least retained, in a balanced way. Such constraint enables the trainable weights to primarily focus on the main features of fine-tuning data while avoiding damaging the preserved knowledge features. We provide theoretical analysis on our method, and conduct extensive experiments including safety preservation and world knowledge preservation, on various downstream tasks. In our experiments, SC-LoRA succeeds in delivering superior fine-tuning performance while markedly diminishing knowledge forgetting, surpassing contemporary LoRA initialization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google