Heterogeneity-Aware Client Sampling: A Unified Solution for Consistent Federated Learning

要約

Federated Learning（FL）には、一般的に、多様なコミュニケーション機能と計算機能を備えたクライアントが関与します。
このような不均一性は、最適化のダイナミクスを大幅に歪め、客観的な矛盾につながる可能性があります。そこでは、グローバルモデルが追求された最適から潜在的に誤った固定点に収束します。
その重大な影響にもかかわらず、コミュニケーションと計算の不均一性の共同効果は、それらの相互作用の本質的な複雑さのために、ほとんど未踏のままです。
この論文では、FLの不均一なコミュニケーションと計算が矛盾を促進する根本的に明確なメカニズムを明らかにします。
私たちの知る限り、これは一般的な不均一なFLの最初の統一された理論分析であり、これらの2つの形態の不均一性が、ローカルソルバーの任意の選択の下で最適化軌跡を共同で共同で歪める方法についての原則的な理解を提供します。
これらの洞察に動機付けられて、私たちは、あらゆるタイプの客観的な矛盾を排除するための普遍的な方法であるFedAcsのフェデレートされた不均一性を意識したクライアントサンプリングを提案します。
動的な不均一環境であっても、FEDACSが$ O（1/\ sqrt {r}）$のレートで正しい最適に収束することを理論的に証明します。
複数のデータセットにわたる広範な実験では、FEDACが最先端およびカテゴリ固有のベースラインを4.3％〜36％上回ると同時に、通信コストを22％-89％、計算負荷をそれぞれ14％〜105％削減することが示されています。

要約(オリジナル)

Federated learning (FL) commonly involves clients with diverse communication and computational capabilities. Such heterogeneity can significantly distort the optimization dynamics and lead to objective inconsistency, where the global model converges to an incorrect stationary point potentially far from the pursued optimum. Despite its critical impact, the joint effect of communication and computation heterogeneity has remained largely unexplored, due to the intrinsic complexity of their interaction. In this paper, we reveal the fundamentally distinct mechanisms through which heterogeneous communication and computation drive inconsistency in FL. To the best of our knowledge, this is the first unified theoretical analysis of general heterogeneous FL, offering a principled understanding of how these two forms of heterogeneity jointly distort the optimization trajectory under arbitrary choices of local solvers. Motivated by these insights, we propose Federated Heterogeneity-Aware Client Sampling, FedACS, a universal method to eliminate all types of objective inconsistency. We theoretically prove that FedACS converges to the correct optimum at a rate of $O(1/\sqrt{R})$, even in dynamic heterogeneous environments. Extensive experiments across multiple datasets show that FedACS outperforms state-of-the-art and category-specific baselines by 4.3%-36%, while reducing communication costs by 22%-89% and computation loads by 14%-105%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google