FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization

要約

Federated Learning (FL) は、大規模なディープ ニューラル ネットワーク (DNN) の分散トレーニングと推論にうまく採用されています。
ただし、DNN は非常に多数のパラメータを特徴とするため、分散ノード間でこれらのパラメータを交換し、メモリを管理する際に大きな課題が生じます。
最近の DNN 圧縮方法 (スパース化、枝刈りなど) はこのような課題に取り組んでいますが、高精度レベルを維持しながら適応的に制御されたパラメータ交換の削減を総合的に考慮していません。
したがって、私たちは新しい FL フレームワーク (造語 FedDIP) に貢献します。このフレームワークは、(i) エラー フィードバックによる動的モデル プルーニングにより、冗長な情報交換を排除し、パフォーマンスの大幅な向上に貢献します。(ii) \textit を達成できる増分正則化とを組み合わせます。
モデルの{極端な}希薄さ。
FedDIP の収束分析を提供し、ベンチマーク データ セットと DNN モデルを使用した最先端の手法に対する包括的なパフォーマンスと比較評価をレポートします。
私たちの結果は、FedDIP がモデルのスパース性を制御するだけでなく、分散モデルのトレーニング中に増分正則化を採用する他のモデル枝刈り手法と比較して同等以上のパフォーマンスを効率的に達成できることを示しています。
コードは https://github.com/EricLoong/feddip から入手できます。

要約(オリジナル)

Federated Learning (FL) has been successfully adopted for distributed training and inference of large-scale Deep Neural Networks (DNNs). However, DNNs are characterized by an extremely large number of parameters, thus, yielding significant challenges in exchanging these parameters among distributed nodes and managing the memory. Although recent DNN compression methods (e.g., sparsification, pruning) tackle such challenges, they do not holistically consider an adaptively controlled reduction of parameter exchange while maintaining high accuracy levels. We, therefore, contribute with a novel FL framework (coined FedDIP), which combines (i) dynamic model pruning with error feedback to eliminate redundant information exchange, which contributes to significant performance improvement, with (ii) incremental regularization that can achieve \textit{extreme} sparsity of models. We provide convergence analysis of FedDIP and report on a comprehensive performance and comparative assessment against state-of-the-art methods using benchmark data sets and DNN models. Our results showcase that FedDIP not only controls the model sparsity but efficiently achieves similar or better performance compared to other model pruning methods adopting incremental regularization during distributed model training. The code is available at: https://github.com/EricLoong/feddip.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google