Fedstellar: A Platform for Decentralized Federated Learning

要約

2016 年、Google は、データのプライバシーを保護しながら、フェデレーションの参加者全体で機械学習 (ML) モデルをトレーニングするための新しいパラダイムとしてフェデレーテッド ラーニング (FL) を提案しました。
中央集中型 FL (CFL) は、その誕生以来、最もよく使用されているアプローチであり、中央エンティティが参加者のモデルを集約してグローバルなモデルを作成します。
ただし、CFL には、通信のボトルネック、単一障害点、中央サーバーへの依存などの制限があります。
分散フェデレーテッド ラーニング (DFL) は、分散モデルの集約を可能にし、中央エンティティへの依存を最小限に抑えることで、これらの問題に対処します。
これらの進歩にもかかわらず、DFL モデルをトレーニングする現在のプラットフォームは、異種フェデレーション ネットワーク トポロジの管理などの重要な問題に苦しんでいます。
これらの課題を克服するために、このホワイト ペーパーでは、物理デバイスまたは仮想デバイスのさまざまなフェデレーションにわたって、分散型、半分散型、および集中型の方法で FL モデルをトレーニングするように設計された新しいプラットフォームである Fedstellar について説明します。
Fedstellar の実装には、インタラクティブなグラフィカル インターフェイスを備えた Web アプリケーション、物理デバイスまたは仮想デバイスを使用してノードのフェデレーションを展開するためのコントローラー、およびネットワーク内でのトレーニング、集約、通信に必要なロジックを提供する各デバイスに展開されたコアが含まれます。
このプラットフォームの有効性は 2 つのシナリオで実証されています。1 つはサイバー攻撃を検出するための Raspberry Pi などのシングルボード デバイスを使用する物理的な展開で、もう 1 つは MNIST および CIFAR-10 データセットを使用して制御された環境でさまざまな FL アプローチを比較する仮想化された展開です。
どちらのシナリオでも、Fedstellar は一貫したパフォーマンスと適応性を実証し、サイバー攻撃の検出と MNIST と CIFAR-10 の分類に DFL を使用して、それぞれ 91%、98%、91.2% の F1 スコアを達成し、集中型アプローチと比較してトレーニング時間を 32% 削減しました。

要約(オリジナル)

In 2016, Google proposed Federated Learning (FL) as a novel paradigm to train Machine Learning (ML) models across the participants of a federation while preserving data privacy. Since its birth, Centralized FL (CFL) has been the most used approach, where a central entity aggregates participants’ models to create a global one. However, CFL presents limitations such as communication bottlenecks, single point of failure, and reliance on a central server. Decentralized Federated Learning (DFL) addresses these issues by enabling decentralized model aggregation and minimizing dependency on a central entity. Despite these advances, current platforms training DFL models struggle with key issues such as managing heterogeneous federation network topologies. To overcome these challenges, this paper presents Fedstellar, a novel platform designed to train FL models in a decentralized, semi-decentralized, and centralized fashion across diverse federations of physical or virtualized devices. The Fedstellar implementation encompasses a web application with an interactive graphical interface, a controller for deploying federations of nodes using physical or virtual devices, and a core deployed on each device which provides the logic needed to train, aggregate, and communicate in the network. The effectiveness of the platform has been demonstrated in two scenarios: a physical deployment involving single-board devices such as Raspberry Pis for detecting cyberattacks, and a virtualized deployment comparing various FL approaches in a controlled environment using MNIST and CIFAR-10 datasets. In both scenarios, Fedstellar demonstrated consistent performance and adaptability, achieving F1 scores of 91%, 98%, and 91.2% using DFL for detecting cyberattacks and classifying MNIST and CIFAR-10, respectively, reducing training time by 32% compared to centralized approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google