EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition

要約

LoRA などのパラメーター効率の高い微調整方法では、トレーニング可能なパラメーターの数が減少します。
ただし、多くの場合、スケーラビリティの問題や、学習パターンと完全な微調整の違いに悩まされます。
これらの制限を克服するために、私たちは効率的な重み分解低ランク適応 (EDoRA) を提案します。これは、事前にトレーニングされた重みを大きさと方向の成分に分解する新しい PEFT 手法です。
EDoRA は、低ランク行列を凍結し、特異値分解によって初期化し、それらの間に小さなトレーニング可能な行列を導入することにより、学習能力を維持しながらトレーニング可能なパラメータの大幅な削減を実現します。
GLUE ベンチマークの実験結果は、EDoRA が、トレーニング可能なパラメータが最大 30 分の 1 少ないにもかかわらず、LoRA や DoRA などの最先端の手法と比較して、競合または優れたパフォーマンスを達成することを示しています。
これにより、EDoRA は、メモリに制約のある設定で LLM をさまざまなタスクに適応させるための非常に効率的なソリューションになります。
コードは https://github.com/Hamid-Nasiri/EDoRA で入手できます。

要約(オリジナル)

Parameter-efficient fine-tuning methods, such as LoRA, reduces the number of trainable parameters. However, they often suffer from scalability issues and differences between their learning pattern and full fine-tuning. To overcome these limitations, we propose Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA): a novel PEFT method that decomposes pre-trained weights into magnitude and directional components. By freezing low-rank matrices, initializing them by singular value decomposition, and introducing a small trainable matrix between them, EDoRA achieves substantial reduction in trainable parameters while maintaining learning capacity. Experimental results on the GLUE benchmark demonstrate that EDoRA achieves competitive or superior performance compared to state-of-the-art methods, such as LoRA and DoRA, with up to 30x fewer trainable parameters. This makes EDoRA a highly efficient solution for adapting LLMs to diverse tasks under memory-constrained settings. Code is available at https://github.com/Hamid-Nasiri/EDoRA .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google