FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning

要約

LLMは様々な自然言語処理タスクにおいて優れた能力を発揮してきた。異なるエンティティは、LLMを微調整することで、特定の下流タスクにおけるLLMの性能をさらに向上させることができる。複数のエンティティが同じようなタスクに関心を持っているが、プライバシーの規制のためにデータを共有できない場合、異なるエンティティのデータを活用する連合学習（FL）が主流のソリューションである。しかし、連携学習環境におけるLLMの微調整は、既存のFLフレームワークによる十分なサポートがまだ得られていない。なぜなら、LLMは、膨大な通信・計算資源の消費の最適化、異なるタスクのためのデータ準備、異なる情報保護要求に対処しなければならないからである。本論文ではまず、連携微調整LLMのこれらの課題について議論し、主な貢献として以下のコンポーネントからなる我々のパッケージFS-LLMを紹介する：(1) エンドツーエンドのベンチマークパイプラインを構築し、データセットの前処理、連携微調整の実行、連携LLM微調整の性能評価を自動化する；(3) 限られたリソースでLLMの微調整を行うための、高速でリソース効率の良い演算子と、学際的研究のための柔軟なプラグイン可能なサブルーチンを採用する。我々は、FS-LLMの有効性を検証するために広範な実験を実施し、FL設定における最新のパラメータ効率的な微調整アルゴリズムで高度なLLMをベンチマークする。さらなる研究と採用を促進するため、FS-LLMをhttps://github.com/alibaba/FederatedScope/tree/llm。

要約(オリジナル)

LLMs have demonstrated great capabilities in various NLP tasks. Different entities can further improve the performance of those LLMs on their specific downstream tasks by fine-tuning LLMs. When several entities have similar interested tasks, but their data cannot be shared because of privacy concerns regulations, federated learning (FL) is a mainstream solution to leverage the data of different entities. However, fine-tuning LLMs in federated learning settings still lacks adequate support from existing FL frameworks because it has to deal with optimizing the consumption of significant communication and computational resources, data preparation for different tasks, and distinct information protection demands. This paper first discusses these challenges of federated fine-tuning LLMs, and introduces our package FS-LLM as a main contribution, which consists of the following components: (1) we build an end-to-end benchmarking pipeline, automizing the processes of dataset preprocessing, federated fine-tuning execution, and performance evaluation on federated LLM fine-tuning; (2) we provide comprehensive federated parameter-efficient fine-tuning algorithm implementations and versatile programming interfaces for future extension in FL scenarios with low communication and computation costs, even without accessing the full model; (3) we adopt several accelerating and resource-efficient operators for fine-tuning LLMs with limited resources and the flexible pluggable sub-routines for interdisciplinary study. We conduct extensive experiments to validate the effectiveness of FS-LLM and benchmark advanced LLMs with state-of-the-art parameter-efficient fine-tuning algorithms in FL settings, which also yields valuable insights into federated fine-tuning LLMs for the research community. To facilitate further research and adoption, we release FS-LLM at https://github.com/alibaba/FederatedScope/tree/llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL