Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

要約

このホワイト ペーパーでは、2019 年 2 月から 2023 年 2 月の間に発行された 40 以上の論文をカバーする、パラメーター効率の高い微調整方法の体系的な概要と比較を紹介します。
パラメータの。
幅広い方法をカバーする分類法を提供し、実際の効率と数十億規模の言語モデルの微調整に特に焦点を当てた詳細な方法の比較を提示します。

要約(オリジナル)

This paper presents a systematic overview and comparison of parameter-efficient fine-tuning methods covering over 40 papers published between February 2019 and February 2023. These methods aim to resolve the infeasibility and impracticality of fine-tuning large language models by only training a small set of parameters. We provide a taxonomy that covers a broad range of methods and present a detailed method comparison with a specific focus on real-life efficiency and fine-tuning multibillion-scale language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google