Automated Federated Learning via Informed Pruning

要約

フェデレーテッド ラーニング (FL) は、ローカル データを交換することなく、中央アグリゲーターによって調整されたローカル ML モデルの共同トレーニングを可能にするため、機械学習 (ML) における極めて重要な変化を表しています。
ただし、エッジ デバイスでのアプリケーションは、限られた計算能力とデータ通信の課題によって妨げられ、ディープ ラーニング (DL) モデルに固有の複雑さによってさらに複雑になります。
モデル プルーニングは、リソースが限られたデバイス上で DL モデルを圧縮するための重要な手法として認識されています。
それにもかかわらず、従来の枝刈り技術は通常、手動で作成されたヒューリスティックに依存しており、モデルのサイズ、速度、精度のバランスを達成するために人間の専門知識を必要とし、最適とはいえないソリューションが得られることがよくあります。
この研究では、ローカル クライアントとグローバル サーバーの両方で DL モデルを動的にプルーニングおよび圧縮する AutoFLIP と呼ばれる、インフォームド プルーニングを利用した自動フェデレーテッド ラーニング アプローチを紹介します。
統合された損失探索フェーズを活用して、さまざまなデータセットと損失にわたるモデルの勾配の動作を調査し、パラメーターの重要性についての洞察を提供します。
私たちの実験では、強力な非 IID データを使用したシナリオで顕著な機能強化が示されており、計算上の制約に対処し、優れたグローバル コンバージェンスを達成する AutoFLIP の能力が強調されています。

要約(オリジナル)

Federated learning (FL) represents a pivotal shift in machine learning (ML) as it enables collaborative training of local ML models coordinated by a central aggregator, all without the need to exchange local data. However, its application on edge devices is hindered by limited computational capabilities and data communication challenges, compounded by the inherent complexity of Deep Learning (DL) models. Model pruning is identified as a key technique for compressing DL models on devices with limited resources. Nonetheless, conventional pruning techniques typically rely on manually crafted heuristics and demand human expertise to achieve a balance between model size, speed, and accuracy, often resulting in sub-optimal solutions. In this study, we introduce an automated federated learning approach utilizing informed pruning, called AutoFLIP, which dynamically prunes and compresses DL models within both the local clients and the global server. It leverages a federated loss exploration phase to investigate model gradient behavior across diverse datasets and losses, providing insights into parameter significance. Our experiments showcase notable enhancements in scenarios with strong non-IID data, underscoring AutoFLIP’s capacity to tackle computational constraints and achieve superior global convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google