FedsLLM: Federated Split Learning for Large Language Models over Communication Networks

要約

無線通信ネットワークに大規模言語モデルを展開する際の課題に対処するため、この論文では、低ランク適応技術 (LoRA) と分割学習フレームワークを組み合わせて、大規模言語モデル用の統合分割学習 (FedsLLM) フレームワークを提案します。
本稿で紹介する手法は、LoRA技術を活用し、ネットワークをクライアントサブネットワークとサーバーサブネットワークに分割することで処理負荷を軽減します。
フェデレーション サーバーを利用してクライアント モデルを集約し、更新します。
トレーニング データはクライアントとメイン サーバーとフェデレーション サーバーの両方の間でワイヤレス ネットワークを介して送信されるため、トレーニングの遅延は学習の精度と通信帯域幅の割り当てによって決まります。
この論文では、計算と通信の最適化を統合し、最適化問題を凸問題に単純化して最適な解を見つけることにより、トレーニング遅延の最小化をモデル化します。
さらに、この問題の正確な解決策を説明する補助定理も提示します。
シミュレーション結果は、提案された最適化アルゴリズムにより、最適化されていないシナリオと比較して遅延が平均 47.63% 削減されることを示しています。

要約(オリジナル)

Addressing the challenges of deploying large language models in wireless communication networks, this paper combines low-rank adaptation technology (LoRA) with the splitfed learning framework to propose the federated split learning for large language models (FedsLLM) framework. The method introduced in this paper utilizes LoRA technology to reduce processing loads by dividing the network into client subnetworks and server subnetworks. It leverages a federated server to aggregate and update client models. As the training data are transmitted through a wireless network between clients and both main and federated servers, the training delay is determined by the learning accuracy and the allocation of communication bandwidth. This paper models the minimization of the training delay by integrating computation and communication optimization, simplifying the optimization problem into a convex problem to find the optimal solution. Additionally, it presents a lemma that describes the precise solutions to this problem. Simulation results demonstrate that the proposed optimization algorithm reduces delays by an average of 47.63% compared to unoptimized scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google