Tackling Computational Heterogeneity in FL: A Few Theoretical Insights

要約

機械学習の未来は、データ収集とトレーニングをエッジに移行することにあります。
Federated Learning (略して FL) は、この目標を達成するために最近提案されました。
このアプローチの原理は、多数の分散クライアント、つまり環境からデータを収集するリソースに制約のあるモバイル デバイスを通じて学習したモデルを集約して、より一般的な新しいモデルを取得することです。
後者はその後、さらなるトレーニングのためにクライアントに再配布されます。
フェデレーション ラーニングとデータセンター ベースの分散トレーニングを区別する重要な特徴は、固有の異質性です。
この研究では、異種データとローカル更新の両方の観点から、フェデレーション最適化における計算の異種性を形式化し、対処できるようにする新しい集計フレームワークを導入および分析します。
提案された集計アルゴリズムは、理論的および実験的な見通しから広範囲に分析されています。

要約(オリジナル)

The future of machine learning lies in moving data collection along with training to the edge. Federated Learning, for short FL, has been recently proposed to achieve this goal. The principle of this approach is to aggregate models learned over a large number of distributed clients, i.e., resource-constrained mobile devices that collect data from their environment, to obtain a new more general model. The latter is subsequently redistributed to clients for further training. A key feature that distinguishes federated learning from data-center-based distributed training is the inherent heterogeneity. In this work, we introduce and analyse a novel aggregation framework that allows for formalizing and tackling computational heterogeneity in federated optimization, in terms of both heterogeneous data and local updates. Proposed aggregation algorithms are extensively analyzed from a theoretical, and an experimental prospective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google