Sparse Training for Federated Learning with Regularized Error Correction

要約

Federated Learning (FL) は、ディープ ニューラル ネットワーク (DNN) モデルのトレーニングに大きな利点をもたらすため、多くの関心を集めています。
ただし、通信と計算のリソースは限られているため、FL システムで DNN モデルをトレーニングするには、複雑なタスクでの計算コストと通信コストの上昇などの課題に直面します。
各クライアント (つまり、ノード) の送信の次元をスケールダウンするために、スパース トレーニング スキームへの注目が高まっています。
具体的には、エラー修正方法によるスパース化が有望な技術であり、重要な更新のみがパラメータ サーバー (PS) に送信され、残りはローカルに蓄積されます。
エラー訂正方法は、収束を損なうことなく、クライアントから PS へのメッセージの大幅なスパース化レベルを達成することが示されていますが、スパース性のさらなる推進は、古さの影響により未解決のままです。
この論文では、この課題を克服するために、累積正規化埋め込みによるフェデレーテッド ラーニング (FLARE) と呼ばれる新しいアルゴリズムを提案します。
FLARE は、FL プロセスでの埋め込みの正則化による更新モデルの蓄積プルによる新しいスパース トレーニング アプローチを提供し、古い効果に対する強力なソリューションを提供し、スパース性を例外的なレベルに押し上げます。
FLARE のパフォーマンスは、多様で複雑なモデルに対する広範な実験を通じて検証されており、精度が大幅に向上するとともに、驚くべきスパース レベル (現在の最先端技術の 10 倍以上) を達成しています。
さらに、関連分野の研究者や開発者の利益のために、オープンソース ソフトウェア パッケージが開発されました。

要約(オリジナル)

Federated Learning (FL) has attracted much interest due to the significant advantages it brings to training deep neural network (DNN) models. However, since communications and computation resources are limited, training DNN models in FL systems face challenges such as elevated computational and communication costs in complex tasks. Sparse training schemes gain increasing attention in order to scale down the dimensionality of each client (i.e., node) transmission. Specifically, sparsification with error correction methods is a promising technique, where only important updates are sent to the parameter server (PS) and the rest are accumulated locally. While error correction methods have shown to achieve a significant sparsification level of the client-to-PS message without harming convergence, pushing sparsity further remains unresolved due to the staleness effect. In this paper, we propose a novel algorithm, dubbed Federated Learning with Accumulated Regularized Embeddings (FLARE), to overcome this challenge. FLARE presents a novel sparse training approach via accumulated pulling of the updated models with regularization on the embeddings in the FL process, providing a powerful solution to the staleness effect, and pushing sparsity to an exceptional level. The performance of FLARE is validated through extensive experiments on diverse and complex models, achieving a remarkable sparsity level (10 times and more beyond the current state-of-the-art) along with significantly improved accuracy. Additionally, an open-source software package has been developed for the benefit of researchers and developers in related fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google