SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead

要約

フェデレーテッド ラーニング (FL) の通信と計算のオーバーヘッドが大きいことは、リソースに制約のあるクライアントやシステム上で実際に展開する際に直面する主な課題の 1 つです。
この研究では、低い計算オーバーヘッドでスパース モデル構造を最適化するための通信効率の高い FL フレームワークである SpaFL が提案されています。
SpaFL では、各フィルター/ニューロンに対してトレーニング可能なしきい値が定義され、接続されているすべてのパラメーターがプルーニングされ、それによって構造化されたスパース性が実現します。
プルーニング プロセス自体を最適化するために、パラメーターではなくしきい値のみがサーバーとクライアント間で通信され、それによってプルーニングの方法が学習されます。
さらに、グローバルしきい値は、集約されたパラメーターの重要性を抽出することによってモデル パラメーターを更新するために使用されます。
SpaFL の一般化限界も導出され、それによってスパース性とパフォーマンスの関係に関する重要な洞察が証明されます。
実験結果は、SpaFL がスパース ベースラインと比較して必要な通信リソースとコンピューティング リソースを大幅に削減しながら、精度を向上させることを示しています。
コードは https://github.com/news-vt/SpaFL_NeruIPS_2024 で入手できます。

要約(オリジナル)

The large communication and computation overhead of federated learning (FL) is one of the main challenges facing its practical deployment over resource-constrained clients and systems. In this work, SpaFL: a communication-efficient FL framework is proposed to optimize sparse model structures with low computational overhead. In SpaFL, a trainable threshold is defined for each filter/neuron to prune its all connected parameters, thereby leading to structured sparsity. To optimize the pruning process itself, only thresholds are communicated between a server and clients instead of parameters, thereby learning how to prune. Further, global thresholds are used to update model parameters by extracting aggregated parameter importance. The generalization bound of SpaFL is also derived, thereby proving key insights on the relation between sparsity and performance. Experimental results show that SpaFL improves accuracy while requiring much less communication and computing resources compared to sparse baselines. The code is available at https://github.com/news-vt/SpaFL_NeruIPS_2024

arxiv情報

提供元, 利用サービス

arxiv.jp, Google