Distributed Pruning Towards Tiny Neural Networks in Federated Learning

要約

ニューラル ネットワーク プルーニングは、ディープ ニューラル ネットワークのサイズと複雑さを軽減し、リソースが限られたデバイス上で大規模なモデルを実現するために不可欠な手法です。
ただし、既存の枝刈りアプローチは枝刈り戦略を導くトレーニング データに大きく依存しているため、分散された機密データセットに対するフェデレーテッド ラーニングには効果がありません。
さらに、メモリと計算を集中的に使用するプルーニング プロセスは、フェデレーテッド ラーニングのリソースに制約のあるデバイスでは実行できなくなります。
これらの課題に対処するために、メモリとコンピューティングに制約のあるデバイス向けに特化した小さなモデルを生成するフェデレーテッド ラーニング用の分散プルーニング フレームワークである FedTiny を提案します。
FedTiny に 2 つの主要なモジュールを導入し、粗く枝刈りされた特殊なモデルを適応的に検索して、まばらで安価なローカル計算による展開シナリオに適合させます。
まず、適応型バッチ正規化選択モジュールは、ローカル データの不均一性によって引き起こされる枝刈りのバイアスを軽減するように設計されています。
2 番目に、軽量のプログレッシブ プルーニング モジュールは、厳密なメモリと計算量の予算の下でモデルをより細かくプルーニングすることを目的としており、モデル構造全体を評価するのではなく、各レイヤーのプルーニング ポリシーを段階的に決定できるようにします。
実験結果は、特に深いモデルを非常にまばらな小さなモデルに圧縮する場合に、最先端のアプローチを上回る FedTiny の有効性を示しています。
FedTiny は、最先端の手法と比較して、計算コストを 95.91%、メモリ使用量を 94.01% 大幅に削減しながら、2.61% の精度向上を達成します。

要約(オリジナル)

Neural network pruning is an essential technique for reducing the size and complexity of deep neural networks, enabling large-scale models on devices with limited resources. However, existing pruning approaches heavily rely on training data for guiding the pruning strategies, making them ineffective for federated learning over distributed and confidential datasets. Additionally, the memory- and computation-intensive pruning process becomes infeasible for recourse-constrained devices in federated learning. To address these challenges, we propose FedTiny, a distributed pruning framework for federated learning that generates specialized tiny models for memory- and computing-constrained devices. We introduce two key modules in FedTiny to adaptively search coarse- and finer-pruned specialized models to fit deployment scenarios with sparse and cheap local computation. First, an adaptive batch normalization selection module is designed to mitigate biases in pruning caused by the heterogeneity of local data. Second, a lightweight progressive pruning module aims to finer prune the models under strict memory and computational budgets, allowing the pruning policy for each layer to be gradually determined rather than evaluating the overall model structure. The experimental results demonstrate the effectiveness of FedTiny, which outperforms state-of-the-art approaches, particularly when compressing deep models to extremely sparse tiny models. FedTiny achieves an accuracy improvement of 2.61% while significantly reducing the computational cost by 95.91% and the memory footprint by 94.01% compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google