FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning

要約

Federated Learning (FL) の非独立かつ同一分散 (非 IID) データはクライアント ドリフトの問題を引き起こし、収束の遅延とモデルのパフォーマンスの低下につながります。
既存のアプローチでは、中央サーバーを使用する集中型 FL (CFL) でこの問題が軽減されますが、分散型 FL (DFL) は依然として調査が不十分です。
DFL では、中央エンティティが存在しないため、ノードがフェデレーションのグローバル ビューにアクセスすることになり、非 IID データの課題がさらに強化されます。
この研究では、多様な投資意見を統合するために金融の文脈で使用されるエントロピー プーリング アルゴリズムを利用し、DFL における非 IID の課題を軽減するための Federated Entropy Pooling (FedEP) アルゴリズムを提案しています。
FedEP はガウス混合モデル (GMM) を活用してローカル データ分布を適合させ、近隣ノード間で統計パラメータを共有してグローバル分布を推定します。
集約の重みは、ローカル分布とグローバル分布の間のエントロピー プーリング アプローチを使用して決定されます。
FedEP は、総合的な配布情報のみを共有することで、通信オーバーヘッドを最小限に抑えながらデータのプライバシーを保護します。
実験結果は、FedEP がより高速な収束を達成し、さまざまな非 IID 設定で最先端の方法を上回るパフォーマンスを発揮することを示しています。

要約(オリジナル)

Non-Independent and Identically Distributed (non-IID) data in Federated Learning (FL) causes client drift issues, leading to slower convergence and reduced model performance. While existing approaches mitigate this issue in Centralized FL (CFL) using a central server, Decentralized FL (DFL) remains underexplored. In DFL, the absence of a central entity results in nodes accessing a global view of the federation, further intensifying the challenges of non-IID data. Drawing on the entropy pooling algorithm employed in financial contexts to synthesize diverse investment opinions, this work proposes the Federated Entropy Pooling (FedEP) algorithm to mitigate the non-IID challenge in DFL. FedEP leverages Gaussian Mixture Models (GMM) to fit local data distributions, sharing statistical parameters among neighboring nodes to estimate the global distribution. Aggregation weights are determined using the entropy pooling approach between local and global distributions. By sharing only synthetic distribution information, FedEP preserves data privacy while minimizing communication overhead. Experimental results demonstrate that FedEP achieves faster convergence and outperforms state-of-the-art methods in various non-IID settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google