AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models

要約

我々は、Adaptive Freezing of Low Rank Adaptation (AFLoRA) と呼ばれる、新しい Parameter-Efficient Fine-Tuning (PEFT) 手法を提案します。
具体的には、事前トレーニングされた凍結重みテンソルごとに、トレーニング可能な低ランク行列、つまり下方投影行列と上方投影行列の並列パスを追加し、それぞれの後に特徴変換ベクトルが続きます。
新しいフリーズ スコアに基づいて、微調整中にこれらの射影行列を段階的にフリーズして、計算を削減し、オーバーフィッティングを軽減します。
私たちの実験結果は、GLUE ベンチマークでの評価で最大 $0.85\%$ の平均改善で最先端のパフォーマンスを達成できる一方で、平均トレーニング可能なパラメーターが最大 $9.5\time$ 減ることを示しています。
実行時間の観点から比較すると、AFLoRA は同様の PEFT 代替製品と比較して、最大 1.86 倍の改善をもたらします。
私たちのアプローチの実用性に加えて、さまざまなモジュールでの LoRA パスのトレーニング可能性要件と、さまざまな投影行列の凍結スケジュールに関する洞察も提供します。
コードが公開されます。

要約(オリジナル)

We present a novel Parameter-Efficient Fine-Tuning (PEFT) method, dubbed as Adaptive Freezing of Low Rank Adaptation (AFLoRA). Specifically, for each pre-trained frozen weight tensor, we add a parallel path of trainable low-rank matrices, namely a down-projection and an up-projection matrix, each of which is followed by a feature transformation vector. Based on a novel freezing score, we the incrementally freeze these projection matrices during fine-tuning to reduce the computation and alleviate over-fitting. Our experimental results demonstrate that we can achieve state-of-the-art performance with an average improvement of up to $0.85\%$ as evaluated on GLUE benchmark while yeilding up to $9.5\times$ fewer average trainable parameters. While compared in terms of runtime, AFLoRA can yield up to $1.86\times$ improvement as opposed to similar PEFT alternatives. Besides the practical utility of our approach, we provide insights on the trainability requirements of LoRA paths at different modules and the freezing schedule for the different projection matrices. Code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google