Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

要約

大規模モデルは、複数のアプリケーション分野における画期的な進歩を表しており、さまざまなタスクにわたって目覚ましい成果を達成することができます。
ただし、その前例のない規模には、多大な計算コストが伴います。
これらのモデルは多くの場合、数十億のパラメーターで構成されており、実行には膨大な量の計算リソースが必要です。
特に、特に計算能力によって制約されるハードウェア プラットフォーム上で、特定の下流タスク用にカスタマイズする場合、その規模と計算需要はかなりの課題を引き起こします。
Parameter Efficient Fine-Tuning (PEFT) は、さまざまな下流タスクにわたって大規模なモデルを効率的に適応させることにより、実用的なソリューションを提供します。
特に、PEFT は、導入される追加パラメーターの数や必要な計算リソースを最小限に抑えながら、事前トレーニングされた大規模モデルのパラメーターを調整して特定のタスクに適応させるプロセスを指します。
このアプローチは、パラメーター数が多い大規模な言語モデルを扱う場合に特に重要です。これらのモデルを最初から微調整すると、計算コストとリソースが大量に消費され、サポートするシステム プラットフォームの設計に大きな課題が生じる可能性があるためです。
この調査では、さまざまな PEFT アルゴリズムのパフォーマンスと計算オーバーヘッドを調査する包括的な研究を紹介します。
さらに、さまざまな PEFT アルゴリズムを使用して開発されたアプリケーションの概要を示し、PEFT の計算コストを軽減するために使用される一般的な手法について説明します。
アルゴリズムの観点に加えて、さまざまな PEFT アルゴリズムに関連する実装コストを調査するために、さまざまな現実世界のシステム設計を概観します。
この調査は、PEFT アルゴリズムとそのシステム実装の両方を理解することを目指す研究者にとって不可欠なリソースとして機能し、最近の進歩と実際のアプリケーションについての詳細な洞察を提供します。

要約(オリジナル)

Large models represent a groundbreaking advancement in multiple application fields, enabling remarkable achievements across various tasks. However, their unprecedented scale comes with significant computational costs. These models, often consisting of billions of parameters, require vast amounts of computational resources for execution. Especially, the expansive scale and computational demands pose considerable challenges when customizing them for particular downstream tasks, particularly over the hardware platforms constrained by computational capabilities. Parameter Efficient Fine-Tuning (PEFT) provides a practical solution by efficiently adapt the large models over the various downstream tasks. In particular, PEFT refers to the process of adjusting the parameters of a pre-trained large models to adapt it to a specific task while minimizing the number of additional parameters introduced or computational resources required. This approach is particularly important when dealing with large language models with high parameter counts, as fine-tuning these models from scratch can be computationally expensive and resource-intensive, posing considerable challenges in the supporting system platform design. In this survey, we present comprehensive studies of various PEFT algorithms, examining their performance and computational overhead. Moreover, we provide an overview of applications developed using different PEFT algorithms and discuss common techniques employed to mitigate computation costs for PEFT. In addition to the algorithmic perspective, we overview various real-world system designs to investigate the implementation costs associated with different PEFT algorithms. This survey serves as an indispensable resource for researchers aiming to understand both the PEFT algorithm and its system implementation, offering detailed insights into recent advancements and practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google