From Centralized to Decentralized Federated Learning: Theoretical Insights, Privacy Preservation, and Robustness Challenges

要約

Federated Learning（FL）は、個人の生データを直接共有することなく、共同学習を可能にします。
FLは、集中（サーバーベース）または分散型（ピアツーピア）のいずれかで実装できます。
この調査では、新しい視点を提示します。集中化されたFL（CFL）と分散型FL（DFL）の根本的な違いは、単なるネットワークトポロジではなく、基礎となるトレーニングプロトコル：個別の集約と共同最適化です。
このプロトコルでのこの区別は、モデルの有用性、プライバシーの保存、および攻撃に対する堅牢性に大きな違いにつながると主張します。
採用するプロトコルのタイプに従って、CFLとDFLの両方で既存の作業を体系的にレビューおよび分類します。
この分類法は、以前の研究に対するより深い洞察を提供し、さまざまなアプローチがどのように関連するか、または異なる方法を明確にします。
分析を通じて、文献の重要なギャップを特定します。
特に、潜在的な利点にもかかわらず、分散型最適化方法に基づいたDFLアプローチの驚くべき調査の欠如を観察します。
この不足している方向性を強調し、連合学習のための分散最適化を活用するためのより多くの研究を求めます。
全体として、この作業は、集中化されたFLから分散化されたFLから分散化されたFLから包括的な概要を提供し、アプローチ間のコアの区別に新しい光を当て、フィールドのオープンな課題と将来の方向性を概説します。

要約(オリジナル)

Federated Learning (FL) enables collaborative learning without directly sharing individual’s raw data. FL can be implemented in either a centralized (server-based) or decentralized (peer-to-peer) manner. In this survey, we present a novel perspective: the fundamental difference between centralized FL (CFL) and decentralized FL (DFL) is not merely the network topology, but the underlying training protocol: separate aggregation vs. joint optimization. We argue that this distinction in protocol leads to significant differences in model utility, privacy preservation, and robustness to attacks. We systematically review and categorize existing works in both CFL and DFL according to the type of protocol they employ. This taxonomy provides deeper insights into prior research and clarifies how various approaches relate or differ. Through our analysis, we identify key gaps in the literature. In particular, we observe a surprising lack of exploration of DFL approaches based on distributed optimization methods, despite their potential advantages. We highlight this under-explored direction and call for more research on leveraging distributed optimization for federated learning. Overall, this work offers a comprehensive overview from centralized to decentralized FL, sheds new light on the core distinctions between approaches, and outlines open challenges and future directions for the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google