$r$Age-$k$: Communication-Efficient Federated Learning Using Age Factor

要約

フェデレーテッド ラーニング (FL) は、複数のクライアントがパラメータ サーバー (PS) によって調整され、統合された機械学習モデルをトレーニングする協調的なアプローチです。
ただし、このアプローチには、データの異質性と通信オーバーヘッドという 2 つの重要な課題があります。
データの異質性とは、異なるクライアントの異種データから生じるモデル トレーニングの不一致を指します。
通信オーバーヘッドは、PS とクライアント間で交換される大量のパラメータ更新によって発生します。
既存のソリューションは通常、これらの課題に個別に対処します。
この論文では、情報時代のメトリクスを使用して FL の両方の制限に同時に取り組む、新しい通信効率の良いアルゴリズムを紹介します。
PS に年齢ベクトルを導入し、さまざまなモデル パラメーターがクライアントから更新される頻度を追跡します。
PS はこれを使用して、各クライアントから特定の勾配インデックスの更新を選択的に要求します。
さらに、PS は年齢ベクトルを使用して、統計的に類似したデータを持つクライアントを識別し、それらをクラスターにグループ化します。
PS は、クラスタ化されたクライアントの年齢ベクトルを組み合わせて、クラスタ内のクライアント間の勾配インデックスの更新を効率的に調整します。
私たちは、高度に非i.i.d.のMNISTおよびCIFAR10データセットを使用してアプローチを評価します。
設定。
実験結果は、私たちが提案した方法がトレーニングを迅速化し、他のコミュニケーション効率の高い戦略を効率的に上回ることを示しています。

要約(オリジナル)

Federated learning (FL) is a collaborative approach where multiple clients, coordinated by a parameter server (PS), train a unified machine-learning model. The approach, however, suffers from two key challenges: data heterogeneity and communication overhead. Data heterogeneity refers to inconsistencies in model training arising from heterogeneous data at different clients. Communication overhead arises from the large volumes of parameter updates exchanged between the PS and clients. Existing solutions typically address these challenges separately. This paper introduces a new communication-efficient algorithm that uses the age of information metric to simultaneously tackle both limitations of FL. We introduce age vectors at the PS, which keep track of how often the different model parameters are updated from the clients. The PS uses this to selectively request updates for specific gradient indices from each client. Further, the PS employs age vectors to identify clients with statistically similar data and group them into clusters. The PS combines the age vectors of the clustered clients to efficiently coordinate gradient index updates among clients within a cluster. We evaluate our approach using the MNIST and CIFAR10 datasets in highly non-i.i.d. settings. The experimental results show that our proposed method can expedite training, surpassing other communication-efficient strategies in efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google