ROSA: Random Subspace Adaptation for Efficient Fine-Tuning

要約

モデルのトレーニングには、推論と比較して大幅に多くのメモリが必要です。
パラメーター効率の良い微調整 (PEFT) メソッドは、より少ないメモリを使用して大規模なモデルを下流のタスクに適応させる手段を提供します。
ただし、アダプター、プロンプト チューニング、または低ランク アダプテーション (LoRA) などの既存の方法では、推論時にレイテンシー オーバーヘッドが発生するか、完全な微調整と比較してダウンストリーム パフォーマンスが標準以下になります。
この研究では、推論時間中の待ち時間ゼロのオーバーヘッドを維持しながら、以前の PEFT 手法を大幅に上回るパフォーマンスを実現するランダム部分空間適応 (ROSA) を提案します。
以前の方法とは対照的に、ROSA は任意の大きな次元の部分空間を適応させ、完全な微調整をより適切に近似することができます。
これにより、実行時に追加のメモリを消費することなく、ROSA が厳密に LoRA よりも表現力豊かになることを理論的にも実験的にも実証しました。
PEFT 手法は、完全な微調整が非常に高価になるスケールでモデルが動作する自然言語処理領域で特に役立ちます。そのため、自然言語生成 (NLG) と自然言語理解 (NLU) という 2 つの一般的な NLP シナリオで ROSA を評価します。
それぞれGPT-2とRoBERTa。
ほぼすべての GLUE タスクで ROSA が LoRA を大幅に上回り、NLG タスクでも LoRA を上回っていることがわかります。
私たちのコードは https://github.com/rosa-paper/rosa で入手できます。

要約(オリジナル)

Model training requires significantly more memory, compared with inference. Parameter efficient fine-tuning (PEFT) methods provide a means of adapting large models to downstream tasks using less memory. However, existing methods such as adapters, prompt tuning or low-rank adaptation (LoRA) either introduce latency overhead at inference time or achieve subpar downstream performance compared with full fine-tuning. In this work we propose Random Subspace Adaptation (ROSA), a method that outperforms previous PEFT methods by a significant margin, while maintaining a zero latency overhead during inference time. In contrast to previous methods, ROSA is able to adapt subspaces of arbitrarily large dimension, better approximating full-finetuning. We demonstrate both theoretically and experimentally that this makes ROSA strictly more expressive than LoRA, without consuming additional memory during runtime. As PEFT methods are especially useful in the natural language processing domain, where models operate on scales that make full fine-tuning very expensive, we evaluate ROSA in two common NLP scenarios: natural language generation (NLG) and natural language understanding (NLU) with GPT-2 and RoBERTa, respectively. We show that on almost every GLUE task ROSA outperforms LoRA by a significant margin, while also outperforming LoRA on NLG tasks. Our code is available at https://github.com/rosa-paper/rosa

arxiv情報

提供元, 利用サービス

arxiv.jp, Google