HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models

要約

近年、大規模言語モデル(LLM)は、自然言語処理領域とそれ以外の領域に革命をもたらし、目覚ましいブレークスルーを達成している。LLMは膨大なパラメータを持つため、様々な下流タスクのために、プライベートデータを用いてこれらのモデルを微調整することが主流となっている。連合学習（FL）は、生データを共有することなくLLMを微調整するための有望なソリューションを提供するが、多大な計算コストがその民主化を妨げている。さらに、実世界のシナリオでは、プライベートクライアントデバイスは異種のコンピューティングリソースを持つことが多く、LLMの微調整をさらに複雑にしている。これらの課題に対処するため、我々は、異種クライアントデバイス上のLLMを効率的に微調整するために、分割学習（SL）と低ランク適応（LoRA）微調整を基に構築された異種パラメータ効率微調整（PEFT）フレームワークであるHSplitLoRAを提案する。HSplitLoRAはまず、LLM学習への貢献度に基づいて重要な重みを特定する。次に、選択された重みに対してLoRAアダプタの分解ランクを動的に設定し、クライアントデバイスの計算バジェットの変化に応じてモデルの分割ポイントを決定する。最後に、ノイズのないアダプタ集約メカニズムを考案し、ノイズを導入することなく異種アダプタ集約をサポートする。広範な実験により、HSplitLoRAが学習精度と収束速度において最先端のベンチマークを上回ることが実証された。

要約(オリジナル)

Recently, large language models (LLMs) have achieved remarkable breakthroughs, revolutionizing the natural language processing domain and beyond. Due to immense parameter sizes, fine-tuning these models with private data for diverse downstream tasks has become mainstream. Though federated learning (FL) offers a promising solution for fine-tuning LLMs without sharing raw data, substantial computing costs hinder its democratization. Moreover, in real-world scenarios, private client devices often possess heterogeneous computing resources, further complicating LLM fine-tuning. To combat these challenges, we propose HSplitLoRA, a heterogeneous parameter-efficient fine-tuning (PEFT) framework built on split learning (SL) and low-rank adaptation (LoRA) fine-tuning, for efficiently fine-tuning LLMs on heterogeneous client devices. HSplitLoRA first identifies important weights based on their contributions to LLM training. It then dynamically configures the decomposition ranks of LoRA adapters for selected weights and determines the model split point according to varying computing budgets of client devices. Finally, a noise-free adapter aggregation mechanism is devised to support heterogeneous adapter aggregation without introducing noise. Extensive experiments demonstrate that HSplitLoRA outperforms state-of-the-art benchmarks in training accuracy and convergence speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL