Heterogeneous Federated Learning using Dynamic Model Pruning and Adaptive Gradient

要約

フェデレーテッド ラーニング (FL) は、データ セキュリティとプライバシーを犠牲にすることなく、分散的に機械学習モデルをトレーニングするための新しいパラダイムとして登場しました。
携帯電話などのエッジ デバイスでモデルを学習することは、FL の最も一般的なユース ケースの 1 つです。
ただし、エッジ デバイス内の非同一の独立した分散~(非 IID) データは、トレーニングの失敗につながります。
特に、過度にパラメータ化された機械学習モデルは、そのようなデータに簡単に過剰適合する可能性があるため、非効率的なフェデレーテッド ラーニングとモデル パフォーマンスの低下をもたらします。
オーバー フィッティングの問題を克服するために、FL の適応動的プルーニング アプローチを提案しました。これは、重要でないパラメーターを削除することでモデルを動的にスリム化し、オーバー フィッティングを防止します。
機械学習モデルのパラメーターは、トレーニング サンプルごとに異なる反応を示すため、適応動的プルーニングは、入力トレーニング サンプルに従ってモデルのパラメーターの顕著性を評価し、逆伝播を行うときに顕著なパラメーターの勾配のみを保持します。
アプローチを評価するために包括的な実験を行いました。
結果は、ニューラル ネットワークの冗長なパラメーターを削除することによる私たちのアプローチが、過剰適合の問題を大幅に削減し、トレーニング効率を大幅に改善できることを示しています。
特に、CIFAR-10 で ResNet-32 をトレーニングする場合、私たちのアプローチは通信コストを 57\% 削減します。
さらに、提案されたアルゴリズムの推論加速能力を実証します。
私たちのアプローチは、モデルの品質を維持しながら、エッジ デバイスでの DNN の FLOP 推論を最大 50\% 削減します。

要約(オリジナル)

Federated Learning (FL) has emerged as a new paradigm for training machine learning models distributively without sacrificing data security and privacy. Learning models on edge devices such as mobile phones is one of the most common use cases for FL. However, Non-identical independent distributed~(non-IID) data in edge devices easily leads to training failures. Especially, over-parameterized machine learning models can easily be over-fitted on such data, hence, resulting in inefficient federated learning and poor model performance. To overcome the over-fitting issue, we proposed an adaptive dynamic pruning approach for FL, which can dynamically slim the model by dropping out unimportant parameters, hence, preventing over-fittings. Since the machine learning model’s parameters react differently for different training samples, adaptive dynamic pruning will evaluate the salience of the model’s parameter according to the input training sample, and only retain the salient parameter’s gradients when doing back-propagation. We performed comprehensive experiments to evaluate our approach. The results show that our approach by removing the redundant parameters in neural networks can significantly reduce the over-fitting issue and greatly improves the training efficiency. In particular, when training the ResNet-32 on CIFAR-10, our approach reduces the communication cost by 57\%. We further demonstrate the inference acceleration capability of the proposed algorithm. Our approach reduces up to 50\% FLOPs inference of DNNs on edge devices while maintaining the model’s quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google