Reducing Training Time in Cross-Silo Federated Learning using Multigraph Topology

要約

フェデレーション ラーニングは、ローカル データを共有せずに複数の参加者が共同でモデルをトレーニングできるため、活発な研究トピックです。
現在、クロスサイロ フェデレーション ラーニングは、高速アクセス リンクを備えた数百の信頼できるデータ サイロを利用してモデルをトレーニングする人気のトレーニング設定です。
このアプローチは現実世界のシナリオに広く適用されていますが、トレーニング時間を短縮するための堅牢なトポロジの設計は依然として未解決の問題です。
このペーパーでは、クロスサイロ連合学習のための新しいマルチグラフ トポロジを紹介します。
まず、オーバーレイ グラフを使用してマルチグラフを構築します。
次に、このマルチグラフを解析して、孤立したノードを持つさまざまな単純なグラフにします。
孤立したノードの存在により、他のノードを待たずにモデルの集約を実行できるため、トレーニング時間を効果的に短縮できます。
3 つの公開データセットに対する集中的な実験の結果、私たちの提案した方法は、学習されたモデルの精度を維持しながら、最近の最先端のトポロジと比較してトレーニング時間を大幅に短縮できることがわかりました。
私たちのコードは https://github.com/aioz-ai/MultigraphFL にあります。

要約(オリジナル)

Federated learning is an active research topic since it enables several participants to jointly train a model without sharing local data. Currently, cross-silo federated learning is a popular training setting that utilizes a few hundred reliable data silos with high-speed access links to training a model. While this approach has been widely applied in real-world scenarios, designing a robust topology to reduce the training time remains an open problem. In this paper, we present a new multigraph topology for cross-silo federated learning. We first construct the multigraph using the overlay graph. We then parse this multigraph into different simple graphs with isolated nodes. The existence of isolated nodes allows us to perform model aggregation without waiting for other nodes, hence effectively reducing the training time. Intensive experiments on three public datasets show that our proposed method significantly reduces the training time compared with recent state-of-the-art topologies while maintaining the accuracy of the learned model. Our code can be found at https://github.com/aioz-ai/MultigraphFL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google