LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models

要約

タイトル：大規模言語モデルの効率的ファインチューニングに対するアダプター群：LLM-Adapters

要約：
– 大規模言語モデル（LLM）の成功により、タスク固有データ（ChatDoctor）や指示データ（Alpaca）を用いてオープンアクセスのLLMをファインチューニングする多くのコストパフォーマンスの高い代替手法が開発されています。
– アダプターベースのパラメータ効率ファインチューニング（PEFT）は、外部パラメーターのみのファインチューニングで、同等またはより良いパフォーマンスを実現するため、ファインチューニング方法の中でも最も魅力的なトピックの1つです。
– この論文では、LLM-Adaptersという簡単に使用できるフレームワークを提供し、さまざまなアダプタをLLMに統合し、異なるタスクのアダプタベースのPEFTを実行できるようにしています。
– LLM-Adaptersには、LLaMA、BLOOM、OPT、GPT-Jなどの最先端のオープンアクセスのLLM、並列アダプタ、直列アダプタ、LoRAなどのよく使われるアダプタが含まれています。
– さらに、LLM-Adaptersのアダプタ効果の評価のために、6つの数学推論データセットで実験を行いました。結果は、少数の訓練可能なパラメータを持つ小規模LLM（7B）で、アダプタベースのPEFTを使用することにより、シンプルな数学推論データセットにおけるゼロショット推論においてパワフルなLLM（175B）と同等または優れたパフォーマンスを示します。
– LLMs-Adaptersは、下流タスクの大規模LLMのファインチューニングにおいて、有望なフレームワークを提供し、アダプタベースのPEFT研究を前進させ、研究パイプラインの展開を容易にし、現実世界のシステムに実用的なアプリケーションを可能にします。

要約(オリジナル)

The success of large language models (LLMs), like GPT-3 and ChatGPT, has led to the development of numerous cost-effective and accessible alternatives that are created by fine-tuning open-access LLMs with task-specific data (e.g., ChatDoctor) or instruction data (e.g., Alpaca). Among the various fine-tuning methods, adapter-based parameter-efficient fine-tuning (PEFT) is undoubtedly one of the most attractive topics, as it only requires fine-tuning a few external parameters instead of the entire LLMs while achieving comparable or even better performance. To enable further research on PEFT methods of LLMs, this paper presents LLM-Adapters, an easy-to-use framework that integrates various adapters into LLMs and can execute these adapter-based PEFT methods of LLMs for different tasks. The framework includes state-of-the-art open-access LLMs such as LLaMA, BLOOM, OPT, and GPT-J, as well as widely used adapters such as Series adapter, Parallel adapter, and LoRA. The framework is designed to be research-friendly, efficient, modular, and extendable, allowing the integration of new adapters and the evaluation of them with new and larger-scale LLMs. Furthermore, to evaluate the effectiveness of adapters in LLMs-Adapters, we conduct experiments on six math reasoning datasets. The results demonstrate that using adapter-based PEFT in smaller-scale LLMs (7B) with few extra trainable parameters yields comparable, and in some cases superior, performance to that of powerful LLMs (175B) in zero-shot inference on simple math reasoning datasets. Overall, we provide a promising framework for fine-tuning large LLMs on downstream tasks. We believe the proposed LLMs-Adapters will advance adapter-based PEFT research, facilitate the deployment of research pipelines, and enable practical applications to real-world systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI