Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients

要約

Federated Learning (FL) は、通信ネットワーク システムにおける分散型機械学習フレームワークです。
ただし、システムの非独立かつ同一分散 (非 IID) データは、これらのデータ サンプルのサブセットのみがモデルの収束に有益であるため、グローバル モデルの収束効率に悪影響を及ぼします。
このサブセットを追求するための信頼できるアプローチには、データセット内のサンプルをランク付けするための妥当性の尺度を決定することが含まれます。
この論文では、FL モデルの収束を加速するために有益な局所勾配の群を選択する BHerd 戦略を提案します。
具体的には、ローカル データセットの分布をローカル勾配にマッピングし、ハーディング戦略を使用して勾配セットの順列を取得します。ここで、順列内のより高度な勾配は勾配セットの平均に近づきます。
これらのグラデーションの上部が選択され、グローバル集約のためにサーバーに送信されます。
私たちはプロトタイプ システムを構築することで、さまざまなデータセット、モデル、シナリオで実験を行っています。実験結果は、BHerd 戦略が有益な局所勾配を選択して非 IID データセットによってもたらされる影響を軽減するのに効果的であることを実証し、モデルの収束を加速します。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning framework in communication network systems. However, the systems’ Non-Independent and Identically Distributed (Non-IID) data negatively affect the convergence efficiency of the global model, since only a subset of these data samples are beneficial for model convergence. In pursuit of this subset, a reliable approach involves determining a measure of validity to rank the samples within the dataset. In this paper, We propose the BHerd strategy which selects a beneficial herd of local gradients to accelerate the convergence of the FL model. Specifically, we map the distribution of the local dataset to the local gradients and use the Herding strategy to obtain a permutation of the set of gradients, where the more advanced gradients in the permutation are closer to the average of the set of gradients. These top portion of the gradients will be selected and sent to the server for global aggregation. We conduct experiments on different datasets, models and scenarios by building a prototype system, and experimental results demonstrate that our BHerd strategy is effective in selecting beneficial local gradients to mitigate the effects brought by the Non-IID dataset, thus accelerating model convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google