Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges

要約

過去 10 年間で、Federated Learning (FL) は、機密データを共有せずに協調モデルをトレーニングする際の重要性を獲得してきました。
中央集中型 FL (CFL) は、誕生以来、文献において最も一般的なアプローチであり、中央エンティティがグローバル モデルを作成します。
ただし、一元化されたアプローチでは、ボトルネックによる遅延の増加、システム障害に対する脆弱性の増大、およびグローバル モデルの作成を担当するエンティティに影響を与える信頼性への懸念が生じます。
分散型フェデレーテッド ラーニング (DFL) は、分散型モデルの集約を促進し、集中型アーキテクチャへの依存を最小限に抑えることで、これらの懸念に対処するために登場しました。
しかし、DFL で行われた研究にもかかわらず、文献では次のことが行われていません。(i) DFL と CFL を区別する主な側面については研究されていません。
(ii) 新しいソリューションを作成および評価するために DFL フレームワークを分析しました。
(iii) DFL を使用してアプリケーション シナリオをレビューしました。
したがって、この記事では、フェデレーション アーキテクチャ、トポロジ、通信メカニズム、セキュリティ アプローチ、および主要なパフォーマンス指標の観点から DFL の主な基礎を特定し、分析します。
さらに、この論文では、重要な DFL の基本を最適化するための既存のメカニズムについても調査しています。
次に、現在の DFL フレームワークの最も関連性の高い機能がレビューされ、比較されます。
その後、最もよく使用される DFL アプリケーション シナリオを分析し、以前に定義された基本とフレームワークに基づいてソリューションを特定します。
最後に、既存の DFL ソリューションの進化を調査し、傾向、学んだ教訓、未解決の課題のリストを提供します。

要約(オリジナル)

In the last decade, Federated Learning (FL) has gained relevance in training collaborative models without sharing sensitive data. Since its birth, Centralized FL (CFL) has been the most common approach in the literature, where a central entity creates a global model. However, a centralized approach leads to increased latency due to bottlenecks, heightened vulnerability to system failures, and trustworthiness concerns affecting the entity responsible for the global model creation. Decentralized Federated Learning (DFL) emerged to address these concerns by promoting decentralized model aggregation and minimizing reliance on centralized architectures. However, despite the work done in DFL, the literature has not (i) studied the main aspects differentiating DFL and CFL; (ii) analyzed DFL frameworks to create and evaluate new solutions; and (iii) reviewed application scenarios using DFL. Thus, this article identifies and analyzes the main fundamentals of DFL in terms of federation architectures, topologies, communication mechanisms, security approaches, and key performance indicators. Additionally, the paper at hand explores existing mechanisms to optimize critical DFL fundamentals. Then, the most relevant features of the current DFL frameworks are reviewed and compared. After that, it analyzes the most used DFL application scenarios, identifying solutions based on the fundamentals and frameworks previously defined. Finally, the evolution of existing DFL solutions is studied to provide a list of trends, lessons learned, and open challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google