LoRA-Pro: Are Low-Rank Adapters Properly Optimized?

要約

LoRA としても知られる低ランク適応は、元の行列を 2 つの低ランク行列の積に再パラメータ化することにより、基礎モデルをパラメータ効率よく微調整するための優れた方法として浮上しました。
LoRA はその効率性にもかかわらず、完全な微調整と比較してパフォーマンスが劣ることがよくあります。
このホワイトペーパーでは、このパフォーマンスギャップを埋めるために LoRA-Pro を提案します。
まず、LoRA の最適化プロセスと完全な微調整について詳しく説明します。
LoRA は低ランク近似を採用していますが、完全な微調整の最適化プロセスの近似を無視していることを明らかにします。
これに対処するために、「等価勾配」と呼ばれる新しい概念を導入します。
この仮想勾配により、再パラメータ化された行列の最適化プロセスが LoRA と同等になり、LoRA と完全な微調整の間の違いを定量化するために使用できます。
等価勾配は、行列 $A$ と $B$ の勾配から導出されます。
パフォーマンスのギャップを狭めるために、私たちのアプローチは、等価勾配と最適化プロセス中の完全な微調整から得られる勾配との差を最小限に抑えます。
この目的を解決することにより、行列 $A$ と $B$ を更新するための最適な閉形式解を導き出します。
私たちの手法は最適化プロセスを制限し、LoRA と完全な微調整の間のパフォーマンスのギャップを縮小します。
自然言語処理タスクに関する広範な実験により、私たちの方法の有効性が検証されました。

要約(オリジナル)

Low-Rank Adaptation, also known as LoRA, has emerged as a prominent method for parameter-efficient fine-tuning foundation models by re-parameterizing the original matrix into the product of two low-rank matrices. Despite its efficiency, LoRA often yields inferior performance compared to full fine-tuning. In this paper, we propose LoRA-Pro to bridge this performance gap. Firstly, we delve into the optimization processes in LoRA and full fine-tuning. We reveal that while LoRA employs low-rank approximation, it neglects to approximate the optimization process of full fine-tuning. To address this, we introduce a novel concept called the ‘equivalent gradient.’ This virtual gradient makes the optimization process on the re-parameterized matrix equivalent to LoRA, which can be used to quantify the differences between LoRA and full fine-tuning. The equivalent gradient is derived from the gradients of matrices $A$ and $B$. To narrow the performance gap, our approach minimizes the differences between the equivalent gradient and the gradient obtained from full fine-tuning during the optimization process. By solving this objective, we derive optimal closed-form solutions for updating matrices $A$ and $B$. Our method constrains the optimization process, shrinking the performance gap between LoRA and full fine-tuning. Extensive experiments on natural language processing tasks validate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google