Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks

要約

タイトル：リソース制約付きワイヤレスエッジネットワーク上での効率的な並列分割学習

要約：
– 深いニューラルネットワークの増加は、フェデレーテッドラーニング（FL）のようなプライバシーエンハンスメント分散学習を制限されたデバイスに民主化することを阻害している。
– この課題を克服するために、本論文では、エッジコンピューティングパラダイムと並列分割学習（PSL）の統合を提唱し、複数のクライアントデバイスが層ごとのモデル分割を介して、エッジサーバーに大量のトレーニングワークロードをオフロードすることを可能にします。
– 従来のPSLスキームが大量のデータ通信とトレーニング遅延に陥るのを観察して、本論文では、効率的な並列分割学習（EPSL）フレームワークを提案して、モデルトレーニングを加速します。
– EPSLは、クライアント側のモデルトレーニングを並列化し、最後の層の勾配集約によりバックプロパゲーション（BP）のローカル勾配の次元を削減し、サーバー側のトレーニングと通信遅延を大幅に削減します。
– また、クライアントデバイスの異質なチャネル状態とコンピューティング能力を考慮して、サブチャネル割り当て、パワーコントロール、カットレイヤー選択を共同最適化し、ラウンド当たりの遅延を最小化します。
– シミュレーション結果は、提案されたEPSLフレームワークが、最新のベンチマークと比較して、目標精度を達成するために必要なトレーニング遅延を大幅に減少させ、最適化なしの対応物よりも遅延を大幅に削減できることを示しています。

要約(オリジナル)

The increasingly deeper neural networks hinder the democratization of privacy-enhancing distributed learning, such as federated learning (FL), to resource-constrained devices. To overcome this challenge, in this paper, we advocate the integration of edge computing paradigm and parallel split learning (PSL), allowing multiple client devices to offload substantial training workloads to an edge server via layer-wise model split. By observing that existing PSL schemes incur excessive training latency and large volume of data transmissions, we propose an innovative PSL framework, namely, efficient parallel split learning (EPSL), to accelerate model training. To be specific, EPSL parallelizes client-side model training and reduces the dimension of local gradients for back propagation (BP) via last-layer gradient aggregation, leading to a significant reduction in server-side training and communication latency. Moreover, by considering the heterogeneous channel conditions and computing capabilities at client devices, we jointly optimize subchannel allocation, power control, and cut layer selection to minimize the per-round latency. Simulation results show that the proposed EPSL framework significantly decreases the training latency needed to achieve a target accuracy compared with the state-of-the-art benchmarks, and the tailored resource management and layer split strategy can considerably reduce latency than the counterpart without optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI