Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks

要約

リソースに制約のあるクライアント上でパラメータを分散方式でローカルにトレーニングすることでデータ プライバシーの問題に対処するフェデレーテッド ラーニング (FL) のパラダイムは、大きな注目を集めています。
ただし、FL サーバーの範囲内のすべてのクライアントが FL ネットワークに登録されていない場合、FL は適用できません。
このギャップを埋めるために、この論文では、共同学習者紹介支援連合クライアント選択 (LRef-FedCS)、通信およびコンピューティング リソースのスケジューリング、およびローカル モデル精度最適化 (LMAO) 手法を提案します。
これらの方法は、最悪の場合の参加者が負担するコストを最小限に抑え、階層型モノのインターネット (HieIoT) ネットワークにおける FL の長期的な公平性を確保するように設計されています。
Lyapunov 最適化手法を利用して、元の問題を段階的結合最適化問題 (JOP) に再定式化します。
続いて、混合整数の非凸JOPに取り組むために、集中法と自己適応グローバルベストハーモニー検索（SGHS）アルゴリズムを通じて、それぞれLRef-FedCSとLMAOに個別かつ反復的に対処します。
スケーラビリティを強化するために、上記の集中型の方法に代わるマッチング ゲームに基づく分散型 LRef-FedCS アプローチをさらに提案します。
MNIST/CIFAR-10 データセットの数値シミュレーションと実験結果は、私たちが提案する LRef-FedCS アプローチが、高いグローバル精度の追求とコスト削減の間で良好なバランスを達成できることを示しています。

要約(オリジナル)

The paradigm of federated learning (FL) to address data privacy concerns by locally training parameters on resource-constrained clients in a distributed manner has garnered significant attention. Nonetheless, FL is not applicable when not all clients within the coverage of the FL server are registered with the FL network. To bridge this gap, this paper proposes joint learner referral aided federated client selection (LRef-FedCS), along with communications and computing resource scheduling, and local model accuracy optimization (LMAO) methods. These methods are designed to minimize the cost incurred by the worst-case participant and ensure the long-term fairness of FL in hierarchical Internet of Things (HieIoT) networks. Utilizing the Lyapunov optimization technique, we reformulate the original problem into a stepwise joint optimization problem (JOP). Subsequently, to tackle the mixed-integer non-convex JOP, we separatively and iteratively address LRef-FedCS and LMAO through the centralized method and self-adaptive global best harmony search (SGHS) algorithm, respectively. To enhance scalability, we further propose a distributed LRef-FedCS approach based on a matching game to replace the centralized method described above. Numerical simulations and experimental results on the MNIST/CIFAR-10 datasets demonstrate that our proposed LRef-FedCS approach could achieve a good balance between pursuing high global accuracy and reducing cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google