Parameter-Efficient Fine-Tuning for Foundation Models

要約

この調査は、基礎モデル（FMS）のコンテキスト内で、パラメーター効率の高い微調整（PEFT）の領域を掘り下げています。
費用対効果の高い微調整技術であるPEFTは、最適なダウンストリームタスクのパフォーマンスを求めながら、パラメーターと計算の複雑さを最小限に抑えます。
FMSは、ChatGpt、Dall-E、Llavaなど、言語の理解、生成タスク、マルチモーダルタスクを専門としており、テキスト、画像、ビデオにまたがる多様なデータセットでトレーニングされています。
FMSの多様性は、PEFTのさまざまな適応戦略を導きます。
したがって、この調査の目的は、多様なFMに適用されるPEFT技術の包括的な概要を提供し、手法、傾向、およびアプリケーションを理解する上で重要なギャップに対処することを目的としています。
まず、FMSとPEFTの詳細な開発を提供することから始めます。
その後、多様なFMを横切るPEFTの主要なカテゴリとコアメカニズムを体系的にレビューして、トレンドの包括的な理解を提供します。
また、さまざまなFMSの最新のアプリケーションを調査して、PEFTの汎用性を実証し、系統的PEFTメソッドとさまざまなFMSの統合に光を当てます。
さらに、将来のPEFTを改善するための潜在的な研究開発の方向性を特定します。
この調査は、FMS全体のPEFTの力を理解し、使用しようとする新人と専門家の両方に貴重なリソースを提供します。
レビューされたすべての論文は、\ url {https://github.com/thudm/awesome-parameter-efficient-fine-tuning-for-foundation-models}にリストされています。

要約(オリジナル)

This survey delves into the realm of Parameter-Efficient Fine-Tuning (PEFT) within the context of Foundation Models (FMs). PEFT, a cost-effective fine-tuning technique, minimizes parameters and computational complexity while striving for optimal downstream task performance. FMs, like ChatGPT, DALL-E, and LLaVA specialize in language understanding, generative tasks, and multimodal tasks, trained on diverse datasets spanning text, images, and videos. The diversity of FMs guides various adaptation strategies for PEFT. Therefore, this survey aims to provide a comprehensive overview of PEFT techniques applied to diverse FMs and address critical gaps in understanding the techniques, trends, and applications. We start by providing a detailed development of FMs and PEFT. Subsequently, we systematically review the key categories and core mechanisms of PEFT across diverse FMs to offer a comprehensive understanding of trends. We also explore the most recent applications across various FMs to demonstrate the versatility of PEFT, shedding light on the integration of systematic PEFT methods with a range of FMs. Furthermore, we identify potential research and development directions for improving PEFTs in the future. This survey provides a valuable resource for both newcomers and experts seeking to understand and use the power of PEFT across FMs. All reviewed papers are listed at \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google