A Bayesian Framework for Clustered Federated Learning

要約

フェデレーション ラーニング (FL) の主な課題の 1 つは、非独立かつ同一分散 (非 IID) のクライアント データを処理することです。これは、データセットの不均衡やクライアント間で異なるデータ ソースの使用が原因で実際​​に発生する可能性があります。
知識の共有とモデルのパーソナライゼーションは、この問題に対処するための重要な戦略です。
クラスター化フェデレーテッド ラーニングは、同様に分散されたデータを観察するクライアントをクラスターにグループ化する FL メソッドのクラスであり、通常、すべてのクライアントが 1 つのデータ分布に関連付けられ、クラスター ピアに沿ってその分布のモデルのトレーニングに参加します。
このペーパーでは、クライアントをクラスターに関連付けるクラスター化 FL 用の統合ベイジアン フレームワークを紹介します。
次に、パフォーマンスと計算の複雑さをトレードオフする方法で、増大するデータの関連付けを処理するための実用的なアルゴリズムをいくつか提案します。
この取り組みにより、クライアントとクラスターの関連付けに関する洞察が得られ、新しい方法でクライアントの知識を共有できるようになります。
提案されたフレームワークは、クライアントとクラスターの一意の関連付けの必要性を回避し、さまざまな実験で結果として得られるモデルのパフォーマンスを向上させることが見られます。

要約(オリジナル)

One of the main challenges of federated learning (FL) is handling non-independent and identically distributed (non-IID) client data, which may occur in practice due to unbalanced datasets and use of different data sources across clients. Knowledge sharing and model personalization are key strategies for addressing this issue. Clustered federated learning is a class of FL methods that groups clients that observe similarly distributed data into clusters, such that every client is typically associated with one data distribution and participates in training a model for that distribution along their cluster peers. In this paper, we present a unified Bayesian framework for clustered FL which associates clients to clusters. Then we propose several practical algorithms to handle the, otherwise growing, data associations in a way that trades off performance and computational complexity. This work provides insights on client-cluster associations and enables client knowledge sharing in new ways. The proposed framework circumvents the need for unique client-cluster associations, which is seen to increase the performance of the resulting models in a variety of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google