FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing

要約

Federated Learning (FL) は、エッジ デバイスによって生成されるデータの急増を処理するための、エッジ コンピューティング (EC) 環境における有望なソリューションとして浮上しています。
FL は、分散エッジ デバイス上でグローバルな機械学習モデルを共同で最適化することで、生データを送信する必要性を回避し、ユーザーのプライバシーを強化します。
実際の成功にもかかわらず、フロリダ州は依然として、エッジ デバイス リソースの制約、複数のタスクの展開、データの異質性などの重大な課題に直面しています。
ただし、既存の研究は、異種 FL シナリオにおける複数のタスクにわたるリソース消費を無視しながら、各単一タスクの FL トレーニング コストを軽減することに重点を置いています。
この論文では、このギャップを埋めるために、ローカルパラメータ共有による異種混合学習 (FedLPS) を提案します。
FedLPS は転移学習の原理を活用し、ローカル モデルを共有可能なエンコーダーとタスク固有のエンコーダーに分割することで、単一デバイス上での複数のタスクの展開を容易にします。
リソース消費をさらに削減するために、データとシステムの異質性の両方を考慮しながらローカル モデルのフットプリントを縮小するチャネルごとのモデル プルーニング アルゴリズムが FedLPS で採用されています。
さらに、FedLPS で異種予測子を集約するための、新しい異種モデル集約アルゴリズムが提案されています。
私たちは、提案された FedLPS を実際の FL プラットフォームに実装し、最先端 (SOTA) FL フレームワークと比較しました。
5 つの人気のあるデータセットと 2 つの最新の DNN モデルに関する実験結果は、提案された FedLPS が SOTA FL フレームワークを最大 4.88% 大幅に上回り、計算リソースの消費量を 21.3% 削減することを示しています。
私たちのコードはhttps://github.com/jyzgh/FedLPSから入手できます。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising solution in Edge Computing (EC) environments to process the proliferation of data generated by edge devices. By collaboratively optimizing the global machine learning models on distributed edge devices, FL circumvents the need for transmitting raw data and enhances user privacy. Despite practical successes, FL still confronts significant challenges including constrained edge device resources, multiple tasks deployment, and data heterogeneity. However, existing studies focus on mitigating the FL training costs of each single task whereas neglecting the resource consumption across multiple tasks in heterogeneous FL scenarios. In this paper, we propose Heterogeneous Federated Learning with Local Parameter Sharing (FedLPS) to fill this gap. FedLPS leverages principles from transfer learning to facilitate the deployment of multiple tasks on a single device by dividing the local model into a shareable encoder and task-specific encoders. To further reduce resource consumption, a channel-wise model pruning algorithm that shrinks the footprint of local models while accounting for both data and system heterogeneity is employed in FedLPS. Additionally, a novel heterogeneous model aggregation algorithm is proposed to aggregate the heterogeneous predictors in FedLPS. We implemented the proposed FedLPS on a real FL platform and compared it with state-of-the-art (SOTA) FL frameworks. The experimental results on five popular datasets and two modern DNN models illustrate that the proposed FedLPS significantly outperforms the SOTA FL frameworks by up to 4.88% and reduces the computational resource consumption by 21.3%. Our code is available at:https://github.com/jyzgh/FedLPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google