AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks

要約

ディープ ニューラル ネットワークの複雑さの増大により、リソースが限られたエッジ デバイスにディープ ニューラル ネットワークを民主化する際に大きな障害が生じています。
この課題に対処するために、エッジ デバイス間での並列トレーニングを可能にしながら、モデルの分割を通じて主要なトレーニング ワークロードをサーバーにフローディングすることで、分割フェデレーテッド ラーニング (SFL) が有望なソリューションとして浮上しました。
ただし、システムの最適化はリソースに制約のあるシステム下での SFL のパフォーマンスに大きな影響を与えますが、問題はほとんど知られていないままです。
このペーパーでは、モデル分割 (MS) とクライアント側モデル集約 (MA) が学習パフォーマンスに及ぼす影響を定量化し、理論的基礎として機能する SFL の収束分析を提供します。
次に、リソースに制約のあるエッジ コンピューティング システムの下で SFL を迅速化するための、新しいリソース適応型 SFL フレームワークである AdaptSFL を提案します。
具体的には、AdaptSFL はクライアント側の MA と MS を適応的に制御して、通信コンピューティングの遅延とトレーニングの収束のバランスをとります。
さまざまなデータセットにわたる広範なシミュレーションにより、提案された AdaptSFL フレームワークがベンチマークよりも目標の精度を達成するのにかかる時間が大幅に短いことが検証され、提案された戦略の有効性が実証されました。

要約(オリジナル)

The increasing complexity of deep neural networks poses significant barriers to democratizing them to resource-limited edge devices. To address this challenge, split federated learning (SFL) has emerged as a promising solution by of floading the primary training workload to a server via model partitioning while enabling parallel training among edge devices. However, although system optimization substantially influences the performance of SFL under resource-constrained systems, the problem remains largely uncharted. In this paper, we provide a convergence analysis of SFL which quantifies the impact of model splitting (MS) and client-side model aggregation (MA) on the learning performance, serving as a theoretical foundation. Then, we propose AdaptSFL, a novel resource-adaptive SFL framework, to expedite SFL under resource-constrained edge computing systems. Specifically, AdaptSFL adaptively controls client-side MA and MS to balance communication-computing latency and training convergence. Extensive simulations across various datasets validate that our proposed AdaptSFL framework takes considerably less time to achieve a target accuracy than benchmarks, demonstrating the effectiveness of the proposed strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google