Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning

要約

Transformer モデルを拡張するための最近の取り組みでは、幅広いタスクにわたって急速な進歩が実証されています (Wei et al., 2022)。
ただし、下流タスク用にこれらのモデルを微調整するには、パラメータ数が多いためコストがかかります。
パラメーター効率の良い微調整 (PEFT) アプローチは、少数のパラメーターのみを更新することでモデルを微調整できるため、実行可能な代替手段として浮上しました。
この研究では、アダプターや LoRA などの一般的なアプローチのドロップイン代替として機能する構造化無制限ランク行列 (SURM) に基づいた、パラメーター効率的微調整 (PEFT) のための一般的なフレームワークを提案します。
LoRA などの他の方法とは異なり、SURM はコンパクトさと表現力の間の適切なバランスを見つける際に、より柔軟に対応できます。
これは、このコンテキストではこれまで使用されていなかった低変位ランク行列 (LDRM) を使用することによって実現されます。
SURM はベースラインとの競争力を維持し、多くの場合、より少ないパラメータ予算を使用しながら大幅な品質向上を実現します。
SURM は、LoRA の低ランク行列を置き換えながら、さまざまな画像分類タスクで 5 ～ 7% の精度向上を達成します。
また、GLUE ベンチマークでは、アダプター内のパラメーターの数が最大 12 分の 1 に削減されます (実質的に品質は低下しません)。

要約(オリジナル)

Recent efforts to scale Transformer models have demonstrated rapid progress across a wide range of tasks (Wei et al., 2022). However, fine-tuning these models for downstream tasks is expensive due to their large parameter counts. Parameter-efficient fine-tuning (PEFT) approaches have emerged as a viable alternative by allowing us to fine-tune models by updating only a small number of parameters. In this work, we propose a general framework for parameter efficient fine-tuning (PEFT), based on structured unrestricted-rank matrices (SURM) which can serve as a drop-in replacement for popular approaches such as Adapters and LoRA. Unlike other methods like LoRA, SURMs provides more flexibility in finding the right balance between compactness and expressiveness. This is achieved by using low displacement rank matrices (LDRMs), which hasn’t been used in this context before. SURMs remain competitive with baselines, often providing significant quality improvements while using a smaller parameter budget. SURMs achieve 5-7% accuracy gains on various image classification tasks while replacing low-rank matrices in LoRA. It also results in up to 12x reduction of the number of parameters in adapters (with virtually no loss in quality) on the GLUE benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google