Interaction-Aware Gaussian Weighting for Clustered Federated Learning

要約

連邦学習（FL）は、プライバシーを維持しながらモデルを訓練するための分散型パラダイムとして浮上しました。
ただし、従来のFLは、モデルのパフォーマンスを低下させるデータの不均一性とクラスの不均衡と闘っています。
クラスター化されたFLは、クライアントを類似のデータ分布とグループ化することにより、パーソナライズと分散トレーニングをバランスさせ、プライバシーの制約を順守しながら精度を向上させます。
このアプローチは、FLの不均一性の悪影響を効果的に軽減します。
この作業では、データ分布に基づいてクライアントをグループ化する新しいクラスターFLメソッド（フェデレートガウス重み付けクラスタリング）を提案し、特定されたクラスターでより堅牢でパーソナライズされたモデルのトレーニングを可能にします。
FEDGWCは、個々の経験的損失をガウスの相互作用とガウス報酬メカニズムとモデル化するように変換することにより、均質なクラスターを特定します。
さらに、FLの新しいクラスタリングメトリックであるWasserstein Adustedスコアを導入して、個々のクラス分布に関するクラスターの結束を評価します。
ベンチマークデータセットでの実験は、FEDGWCがクラスターの品質と分類の精度で既存のFLアルゴリズムを上回り、アプローチの有効性を検証することを示しています。

要約(オリジナル)

Federated Learning (FL) emerged as a decentralized paradigm to train models while preserving privacy. However, conventional FL struggles with data heterogeneity and class imbalance, which degrade model performance. Clustered FL balances personalization and decentralized training by grouping clients with analogous data distributions, enabling improved accuracy while adhering to privacy constraints. This approach effectively mitigates the adverse impact of heterogeneity in FL. In this work, we propose a novel clustered FL method, FedGWC (Federated Gaussian Weighting Clustering), which groups clients based on their data distribution, allowing training of a more robust and personalized model on the identified clusters. FedGWC identifies homogeneous clusters by transforming individual empirical losses to model client interactions with a Gaussian reward mechanism. Additionally, we introduce the Wasserstein Adjusted Score, a new clustering metric for FL to evaluate cluster cohesion with respect to the individual class distribution. Our experiments on benchmark datasets show that FedGWC outperforms existing FL algorithms in cluster quality and classification accuracy, validating the efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google