Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models

要約

最近、高度なインテリジェント生成コンテンツ (AIGC)、特に大規模言語モデル (LLM) の開発が急増しています。
ただし、多くのダウンストリーム タスクでは、プライベート データを使用して LLM を微調整する必要があります。
フェデレーテッド ラーニングは、LLM の微調整に対する有望なプライバシー保護ソリューションを提供しますが、LLM のサイズが大きく、計算と通信の要求が高いため、下流のタスクに適用することが困難になります。
さらに重要なことは、プライベート エッジ サーバーは現実のシナリオではさまざまなコンピューティング リソースとネットワーク リソースを所有していることが多く、LLM の微調整がさらに複雑になります。
これらの問題に取り組むために、FedPipe という名前の自動フェデレーテッド パイプラインを設計して実装し、最小限のトレーニング コストで、推論レイテンシーを追加することなく LLM を微調整します。
FedPipe はまず、LLM トレーニングへの寄与に基づいて微調整する重みを特定します。
次に、選択した重みごとに低ランク アダプターを構成して、エッジ サーバー上でローカルの低ランク アダプターをトレーニングし、すべてのエッジ サーバーのローカル アダプターを集約して LLM 全体を微調整します。
最後に、LLM のパラメータを適切に量子化し、エッジ サーバーの要件に従ってメモリ領域を削減します。
広範な実験により、FedPipe がモデルのトレーニングを迅速化し、最先端のベンチマークよりも高い精度を達成できることが実証されました。

要約(オリジナル)

Recently, there has been a surge in the development of advanced intelligent generative content (AIGC), especially large language models (LLMs). However, for many downstream tasks, it is necessary to fine-tune LLMs using private data. While federated learning offers a promising privacy-preserving solution to LLM fine-tuning, the substantial size of an LLM, combined with high computational and communication demands, makes it hard to apply to downstream tasks. More importantly, private edge servers often possess varying computing and network resources in real-world scenarios, introducing additional complexities to LLM fine-tuning. To tackle these problems, we design and implement an automated federated pipeline, named FedPipe, to fine-tune LLMs with minimal training cost but without adding any inference latency. FedPipe firstly identifies the weights to be fine-tuned based on their contributions to the LLM training. It then configures a low-rank adapter for each selected weight to train local low-rank adapters on an edge server, and aggregate local adapters of all edge servers to fine-tune the whole LLM. Finally, it appropriately quantizes the parameters of LLM to reduce memory space according to the requirements of edge servers. Extensive experiments demonstrate that FedPipe expedites the model training and achieves higher accuracy than state-of-the-art benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google