Parallel Split Learning with Global Sampling

要約

IoT デバイスの拡大とディープラーニングの需要により、分散ディープラーニング (DDL) システムにおける重大な課題が浮き彫りになっています。
並列分割学習 (PSL) は、リソースに制約のあるデバイスでの分散学習に適した分割学習の有望な派生手法として登場しました。
ただし、PSL は、大きな有効バッチ サイズ、非 IID データの分散、分散効果など、いくつかの障害に直面しています。
私たちはこれらの問題をサンプリングのジレンマとして捉え、サーバー側でミニバッチ サンプリング プロセスを調整することでこれらの問題に対処することを提案します。
有効なバッチ サイズをクライアント数から切り離し、非 IID 設定でのミニバッチの偏差を減らすために、Uniform Global Sampling (UGS) メソッドを導入します。
ストラグラー効果に対処するために、潜在ディリクレ サンプリング (LDS) 手法を導入します。これは、UGS を一般化し、バッチ偏差とトレーニング時間の間のトレードオフのバランスをとります。
私たちのシミュレーションにより、私たちが提案した方法により、非 IID 設定でモデルの精度が最大 34.1% 向上し、落伍者が存在する場合のトレーニング時間が最大 62% 短縮されることが明らかになりました。
特に、LDS は、UGS と比較してモデルの精度を損なったり、大幅な計算オーバーヘッドを追加したりすることなく、ストラグラー効果を効果的に軽減します。
私たちの結果は、実際のアプリケーションにおける DDL の有望なソリューションとしての私たちの方法の可能性を示しています。

要約(オリジナル)

The expansion of IoT devices and the demands of Deep Learning have highlighted significant challenges in Distributed Deep Learning (DDL) systems. Parallel Split Learning (PSL) has emerged as a promising derivative of Split Learning that is well suited for distributed learning on resource-constrained devices. However, PSL faces several obstacles, such as large effective batch sizes, non-IID data distributions, and the straggler effect. We view these issues as a sampling dilemma and propose to address them by orchestrating the mini-batch sampling process on the server side. We introduce the Uniform Global Sampling (UGS) method to decouple the effective batch size from the number of clients and reduce mini-batch deviation in non-IID settings. To address the straggler effect, we introduce the Latent Dirichlet Sampling (LDS) method, which generalizes UGS to balance the trade-off between batch deviation and training time. Our simulations reveal that our proposed methods enhance model accuracy by up to 34.1% in non-IID settings and reduce the training time in the presence of stragglers by up to 62%. In particular, LDS effectively mitigates the straggler effect without compromising model accuracy or adding significant computational overhead compared to UGS. Our results demonstrate the potential of our methods as a promising solution for DDL in real applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google