NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models

要約

このペーパーでは、低ランク適応 (LoRA) 技術の機能を拡張する、パラメーター効率の高い微調整への新しいアプローチである入れ子低ランク適応 (NoRA) を紹介します。
Vanilla LoRA は事前にトレーニングされた重みの継承を無視しており、依然として多数のパラメーターを微調整する必要があります。
これらの問題に対処するために、当社の NoRA は特異値分解 (SVD) を備えた 2 層の入れ子構造を採用し、調整可能なパラメーターを減らしながら独自の行列知識を効果的に活用します。
具体的には、NoRA は外側の LoRA 重みを凍結し、内側の LoRA 設計を利用して、モデル最適化の制御を強化します。
このアプローチにより、コンパクトなパラメーター空間を維持しながら、モデルを特定のタスクにより正確に適応させることができます。
NoRA は、外側の LoRA 重みを固定し、内側の LoRA 設計を使用することにより、コンパクトなパラメータ空間で正確なタスク適応を可能にします。
大規模な言語モデルを使用した常識的推論、視覚言語モデルの微調整、主体駆動型生成などのタスクの評価は、LoRA とその亜種に対する NoRA の優位性を示しています。
コードは承認され次第公開されます。

要約(オリジナル)

In this paper, we introduce Nested Low-Rank Adaptation (NoRA), a novel approach to parameter-efficient fine-tuning that extends the capabilities of Low-Rank Adaptation (LoRA) techniques. Vanilla LoRA overlooks pre-trained weight inheritance and still requires fine-tuning numerous parameters. To addresses these issues, our NoRA adopts a dual-layer nested structure with Singular Value Decomposition (SVD), effectively leveraging original matrix knowledge while reducing tunable parameters. Specifically, NoRA freezes the outer LoRA weights and utilizes an inner LoRA design, providing enhanced control over model optimization. This approach allows the model to more precisely adapt to specific tasks while maintaining a compact parameter space. By freezing outer LoRA weights and using an inner LoRA design, NoRA enables precise task adaptation with a compact parameter space. Evaluations on tasks including commonsense reasoning with large language models, fine-tuning vision-language models, and subject-driven generation demonstrate NoRA’s superiority over LoRA and its variants. Code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google