Dual-Segment Clustering Strategy for Federated Learning in Heterogeneous Environments

要約

フェデレーテッド ラーニング (FL) は、ネットワークのパラメータまたは勾配のみを送信する、高効率かつ低通信負荷の分散機械学習パラダイムです。
ただし、非独立かつ同一分散 (Non-IID) データの特性は、このパラダイムに悪影響を及ぼします。
さらに、通信品質の不均一性はパラメータ伝送の精度に大きな影響を与え、FL システムのパフォーマンスの低下を引き起こしたり、その収束を妨げたりすることがあります。
このレターでは、データと通信の異質性の問題を解決するために、最初に異種通信条件に従ってクライアントをクラスタリングし、次にサンプル サイズとラベル分布によって 2 番目のクラスタリングを実行するデュアル セグメント クラスタリング (DSC) 戦略を提案します。
実験結果は、この手紙で提案したDSC戦略がFLの収束率を向上させることができ、クラスタの古典的なアルゴリズムと比較して異種環境での精度において優れていることを示しています。

要約(オリジナル)

Federated learning (FL) is a distributed machine learning paradigm with high efficiency and low communication load, only transmitting parameters or gradients of network. However, the non-independent and identically distributed (Non-IID) data characteristic has a negative impact on this paradigm. Furthermore, the heterogeneity of communication quality will significantly affect the accuracy of parameter transmission, causing a degradation in the performance of the FL system or even preventing its convergence. This letter proposes a dual-segment clustering (DSC) strategy, which first clusters the clients according to the heterogeneous communication conditions and then performs a second clustering by the sample size and label distribution, so as to solve the problem of data and communication heterogeneity. Experimental results show that the DSC strategy proposed in this letter can improve the convergence rate of FL, and has superiority on accuracy in a heterogeneous environment compared with the classical algorithm of cluster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google