LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models

要約

下流タスク向けに高いパラメーター効率を備えた大規模言語モデル (LLM) の微調整が、新しいパラダイムになりました。
低ランク適応 (LoRA) は、微調整用のトレーニング可能なパラメーターの数を大幅に減らします。
LoRA は賞賛に値するパフォーマンスを実証しましたが、単一スケール内でパラメーターを更新することは、複雑な下流タスクにとって最適な選択ではない可能性があります。この論文では、LoRA を複数のスケールに拡張し、LoRA$^2$ と呼びます。
まず、直交投影理論を組み合わせて、2 つの相互に直交する平面で一連の LoRA をトレーニングします。
次に、重要度スコア アルゴリズムを改善し、パラメーター感度スコアの計算を約 98.5\% 削減します。
重要度スコアが低い特異値を取り除くことで、さまざまな下流タスクへの適応性が向上します。
LoRA$^2$ の有効性を検証するために、広く使用されている 2 つの事前トレーニング済みモデルに対して広範な実験が行われました。
結果は、完全な微調整と比較して、トレーニング可能なパラメーターの数をわ​​ずか 0.72\% に大幅に減らしながらも、依然として非常に優れたパフォーマンスを提供できることを示しています。
パラメーターをさらに 0.17M に減らした場合でも、8 倍のパラメーターを使用したベースラインと同等の結果が得られます。
私たちのコードはここから入手できます: https://anonymous.4open.science/r/LoRA-2-5B4C

要約(オリジナル)

Fine-tuning large language models (LLMs) with high parameter efficiency for downstream tasks has become a new paradigm. Low-Rank Adaptation (LoRA) significantly reduces the number of trainable parameters for fine-tuning. Although it has demonstrated commendable performance, updating parameters within a single scale may not be the optimal choice for complex downstream tasks.In this paper, we extend the LoRA to multiple scales, dubbed as LoRA$^2$. We first combine orthogonal projection theory to train a set of LoRAs in two mutually orthogonal planes. Then, we improve the importance score algorithm, which reduce parameter sensitivity score calculations by approximately 98.5\%. By pruning singular values with lower importance scores, thereby enhancing adaptability to various downstream tasks. Extensive experiments are conducted on two widely used pre-trained models to validate the effectiveness of LoRA$^2$. Results show that it significantly reduces the number of trainable parameters to just 0.72\% compared to full fine-tuning, while still delivering highly impressive performance. Even when the parameters are further reduced to 0.17M, it still achieves comparable results to the baseline with 8 times more parameters. Our code is available here: https://anonymous.4open.science/r/LoRA-2-5B4C

arxiv情報

提供元, 利用サービス

arxiv.jp, Google