LoRA-Pro: Are Low-Rank Adapters Properly Optimized?

要約

LoRA としても知られる低ランク適応は、基礎モデルをパラメーター効率よく微調整するための優れた方法として浮上しています。
LoRA の計算効率にもかかわらず、完全な微調整と比較するとパフォーマンスは依然として劣ります。
この論文では、まず、LoRA の最適化プロセスと完全な微調整の間の基本的な関係を明らかにします。つまり、最適化に LoRA を使用することは、パラメーター更新に低ランクの勾配を使用する完全な微調整と数学的に同等です。
そして、この低ランクの勾配は、LoRA の 2 つの低ランク行列の勾配によって表現できます。
この洞察を活用して、これらの低ランク行列の勾配を戦略的に調整することで LoRA のパフォーマンスを向上させる手法である LoRA-Pro を紹介します。
この調整により、低ランクの勾配が完全な微調整勾配をより正確に近似できるようになり、それによって LoRA と完全な微調整の間のパフォーマンスのギャップが狭まります。
さらに、低ランク行列の勾配を調整するための最適解を理論的に導き出し、LoRA-Pro での微調整中に適用します。
私たちは、自然言語理解、対話生成、数学的推論、コード生成、画像分類タスクにわたる広範な実験を実施し、LoRA-Pro が LoRA のパフォーマンスを大幅に向上させ、完全な微調整で効果的にギャップを狭めることを実証しました。
コードは \url{https://github.com/mrflogs/LoRA-Pro} で公開されています。

要約(オリジナル)

Low-rank adaptation, also known as LoRA, has emerged as a prominent method for parameter-efficient fine-tuning of foundation models. Despite its computational efficiency, LoRA still yields inferior performance compared to full fine-tuning. In this paper, we first uncover a fundamental connection between the optimization processes of LoRA and full fine-tuning: using LoRA for optimization is mathematically equivalent to full fine-tuning using a low-rank gradient for parameter updates. And this low-rank gradient can be expressed in terms of the gradients of the two low-rank matrices in LoRA. Leveraging this insight, we introduce LoRA-Pro, a method that enhances LoRA’s performance by strategically adjusting the gradients of these low-rank matrices. This adjustment allows the low-rank gradient to more accurately approximate the full fine-tuning gradient, thereby narrowing the performance gap between LoRA and full fine-tuning. Furthermore, we theoretically derive the optimal solutions for adjusting the gradients of the low-rank matrices, applying them during fine-tuning in LoRA-Pro. We conduct extensive experiments across natural language understanding, dialogue generation, mathematical reasoning, code generation, and image classification tasks, demonstrating that LoRA-Pro substantially improves LoRA’s performance, effectively narrowing the gap with full fine-tuning. Code is publicly available at \url{https://github.com/mrflogs/LoRA-Pro}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google