LoRA-Null: Low-Rank Adaptation via Null Space for Large Language Models

要約

低ランク適応（LORA）は、大規模な言語モデル（LLM）の主要なパラメーター効率の高い微調整方法です。
しかし、微調整されたLLMSは、事前に訓練された世界知識の壊滅的な忘却の問題に遭遇します。
ヌル空間の理論的洞察に触発されたこの問題に対処するために、ロラヌル、つまり、抑制された知識活性化のヌル空間から初期化されたアダプターを構築するヌル空間を介した低ランクの適応を提案します。
具体的には、LLMレイヤーを通過した後、いくつかのデータサンプルをランダムに収集し、アクティベーションをキャプチャします。
入力アクティベーションで特異値分解を実行して、ヌル空間を取得します。
アダプターの初期化として、事前に訓練された重みの投影をヌル空間に使用します。
実験結果は、この初期化アプローチが微調整中のLLMの元の事前に訓練された世界知識を効果的に保存できることを示しています。
さらに、微調整中にダウンプロジェクションマトリックスの値をフリーズすると、事前に訓練された世界知識をさらに良く保存します。
Lora-Nullは、ラマシリーズ（Llama2、Llama3、llama3.1、およびllama3.2）での広範な実験で検証されているように、タスク、数学、および命令に続いて、強力な微調整パフォーマンスを維持しながら、事前に訓練された世界の知識を効果的に保存します。
また、LORA-NULLが事前に訓練された知識を保持する能力の理論的保証を提供します。
コードはhttps://github.com/hungerpway/lora-nullにあります。

要約(オリジナル)

Low-Rank Adaptation (LoRA) is the leading parameter-efficient fine-tuning method for Large Language Models (LLMs). However, the fine-tuned LLMs encounter the issue of catastrophic forgetting of the pre-trained world knowledge. To address this issue, inspired by theoretical insights of null space, we propose LoRA-Null, i.e., Low-Rank Adaptation via null space, which builds adapters initialized from the null space of the pre-trained knowledge activation. Concretely, we randomly collect a few data samples and capture their activations after passing through the LLM layer. We perform Singular Value Decomposition on the input activations to obtain their null space. We use the projection of the pre-trained weights onto the null space as the initialization for adapters. Experimental results demonstrate that this initialization approach can effectively preserve the original pre-trained world knowledge of the LLMs during fine-tuning. Additionally, if we freeze the values of the down-projection matrices during fine-tuning, it achieves even better preservation of the pre-trained world knowledge. LoRA-Null effectively preserves pre-trained world knowledge while maintaining strong fine-tuning performance, as validated by extensive experiments on LLaMA series (LLaMA2, LLaMA3, LLaMA3.1, and LLaMA3.2) across Code, Math, and Instruction Following tasks. We also provide a theoretical guarantee for the capacity of LoRA-Null to retain pre-trained knowledge. Code is in https://github.com/HungerPWAY/LoRA-Null.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google