CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning

要約

フェデレーテッド ラーニング (FL) は、高レベルのデータ プライバシーを保証しながら、人工知能モノのインターネット (AIoT) デバイス上で分散学習を可能にするために提案されています。
FL のランダムな初期モデルは、制御されていない確率的勾配降下 (SGD) プロセスを容易に引き起こす可能性があるため、既存の FL 手法は、特に非 IID シナリオにおいて、収束の遅さと精度の低さの両方に大きな問題を抱えています。
この問題に対処するために、CyclicFL という新しい方法を提案します。これは、SGD プロセスをガイドするための効果的な初期モデルを迅速に導き出すことができ、全体的な FL トレーニングのパフォーマンスを向上させます。
CyclicFL の事前トレーニング段階とトレーニング段階の間のデータ一貫性の重要性を正式に分析し、CyclicFL による事前トレーニング モデルの損失の限定的なリプシッツネスを示します。
さらに、さまざまな凸性の仮定の下で、私たちの方法がより速い収束速度を達成できることを体系的に証明します。
パブリック プロキシ データを必要とする従来の一元的な事前トレーニング方法とは異なり、CyclicFL は、ローカル データを公開することなく、選択した AIoT デバイス上で初期モデルを周期的に事前トレーニングします。
したがって、セキュリティ クリティカルな FL メソッドに簡単に統合できます。
包括的な実験結果は、CyclicFL が最大分類精度を最大 $14.11\%$ 向上させるだけでなく、全体的な FL トレーニング プロセスを大幅に加速できることを示しています。

要約(オリジナル)

Federated learning (FL) has been proposed to enable distributed learning on Artificial Intelligence Internet of Things (AIoT) devices with guarantees of high-level data privacy. Since random initial models in FL can easily result in unregulated Stochastic Gradient Descent (SGD) processes, existing FL methods greatly suffer from both slow convergence and poor accuracy, especially in non-IID scenarios. To address this problem, we propose a novel method named CyclicFL, which can quickly derive effective initial models to guide the SGD processes, thus improving the overall FL training performance. We formally analyze the significance of data consistency between the pre-training and training stages of CyclicFL, showing the limited Lipschitzness of loss for the pre-trained models by CyclicFL. Moreover, we systematically prove that our method can achieve faster convergence speed under various convexity assumptions. Unlike traditional centralized pre-training methods that require public proxy data, CyclicFL pre-trains initial models on selected AIoT devices cyclically without exposing their local data. Therefore, they can be easily integrated into any security-critical FL methods. Comprehensive experimental results show that CyclicFL can not only improve the maximum classification accuracy by up to $14.11\%$ but also significantly accelerate the overall FL training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google