Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning

要約

フェデレーテッド ラーニング (FL) を使用してディープ ニューラル ネットワーク (DNN) をトレーニングする際にクライアントが直面するコンピューティング能力の不足を軽減するために、テスト精度を損なうことなくトレーニングのレイテンシを最小限に抑えることを目的として、エッジ コンピューティングと分割学習を活用してモデル分割が可能な FL (SFL) フレームワークを提案します。
同期されたグローバル更新設定では、グローバル トレーニングのラウンドを完了するまでの待ち時間は、クライアントがローカル トレーニング セッションを完了するまでの最大待ち時間によって決まります。
したがって、トレーニング遅延最小化問題 (TLMP) は、最小化-最大化問題としてモデル化されます。
この混合整数非線形計画問題を解決するために、まずカットレイヤーと AI モデルの他のパラメーターの間の定量的関係を適合させる回帰法を提案し、TLMP を連続問題に変換します。
TLMP に含まれる 2 つの副問題、すなわち、クライアントのカット層選択問題とパラメータ サーバーのコンピューティング リソース割り当て問題が相対的に独立していることを考慮して、TLMP に対する高品質の解決策を得るために、多項式時間計算量を備えた代替最適化ベースのアルゴリズムが開発されました。
データセット MNIST を使用して、一般的な DNN モデル EfficientNetV2 に対して広範な実験が実行され、その結果により、提案された SFL フレームワークの有効性とパフォーマンスの向上が検証されます。

要約(オリジナル)

To alleviate the shortage of computing power faced by clients in training deep neural networks (DNNs) using federated learning (FL), we leverage the edge computing and split learning to propose a model-splitting allowed FL (SFL) framework, with the aim to minimize the training latency without loss of test accuracy. Under the synchronized global update setting, the latency to complete a round of global training is determined by the maximum latency for the clients to complete a local training session. Therefore, the training latency minimization problem (TLMP) is modelled as a minimizing-maximum problem. To solve this mixed integer nonlinear programming problem, we first propose a regression method to fit the quantitative-relationship between the cut-layer and other parameters of an AI-model, and thus, transform the TLMP into a continuous problem. Considering that the two subproblems involved in the TLMP, namely, the cut-layer selection problem for the clients and the computing resource allocation problem for the parameter-server are relative independence, an alternate-optimization-based algorithm with polynomial time complexity is developed to obtain a high-quality solution to the TLMP. Extensive experiments are performed on a popular DNN-model EfficientNetV2 using dataset MNIST, and the results verify the validity and improved performance of the proposed SFL framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google