Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment

要約

トランスフォーマーベースの事前トレーニング済み言語モデル (PLM) のパラメーター数の継続的な増加、特に数十億のパラメーターを持つ大規模言語モデル (LLM) の出現により、多くの自然言語処理 (NLP) タスクが目覚ましい成功を収めています。
ただし、これらのモデルのサイズと計算需要は膨大であるため、特に計算リソースが限られている環境では、モデルを特定の下流タスクに適応させるには大きな課題が生じます。
Parameter Efficient Fine-Tuning (PEFT) は、完全な微調整と同等のパフォーマンスを達成しながら、微調整パラメータの数とメモリ使用量を削減することにより、効果的なソリューションを提供します。
図 1 に示すように、PLM、特に LLM の微調整に対する需要により、PEFT 手法の開発が急増しています。このホワイト ペーパーでは、PLM 用の PEFT 手法の包括的かつ体系的なレビューを示します。
これらの PEFT 手法を要約し、その応用について説明し、将来の方向性を概説します。
さらに、パラメーター効率とメモリ効率における効果をより深く理解するために、いくつかの代表的な PEFT 手法を使用して実験を実施します。
この調査は、最新の進歩と実用的なアプリケーションに関する洞察を提供することにより、PLM の文脈で PEFT によってもたらされる課題と機会を乗り越えようとしている研究者や実務者にとって貴重なリソースとして役立ちます。

要約(オリジナル)

With the continuous growth in the number of parameters of transformer-based pretrained language models (PLMs), particularly the emergence of large language models (LLMs) with billions of parameters, many natural language processing (NLP) tasks have demonstrated remarkable success. However, the enormous size and computational demands of these models pose significant challenges for adapting them to specific downstream tasks, especially in environments with limited computational resources. Parameter Efficient Fine-Tuning (PEFT) offers an effective solution by reducing the number of fine-tuning parameters and memory usage while achieving comparable performance to full fine-tuning. The demands for fine-tuning PLMs, especially LLMs, have led to a surge in the development of PEFT methods, as depicted in Fig. 1. In this paper, we present a comprehensive and systematic review of PEFT methods for PLMs. We summarize these PEFT methods, discuss their applications, and outline future directions. Furthermore, we conduct experiments using several representative PEFT methods to better understand their effectiveness in parameter efficiency and memory efficiency. By offering insights into the latest advancements and practical applications, this survey serves as an invaluable resource for researchers and practitioners seeking to navigate the challenges and opportunities presented by PEFT in the context of PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google