A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data

要約

機械学習技術の発展に伴い、ユーザーのデータのプライバシーが大きな懸念事項になっています。
ほとんどの機械学習アルゴリズムは、さまざまなソースから収集される大量のデータに大きく依存しています。
これらのデータを収集しながらプライバシー ポリシーを維持することは、研究者にとって最も困難なタスクの 1 つとなっています。
この問題に対処するために、研究者らはフェデレーテッド ラーニングを導入しました。フェデレーテッド ラーニングでは、クライアント データのプライバシーを確​​保することで予測モデルが学習されます。
ただし、一般的な連合学習アルゴリズムには、特に非 IID データの場合、精度と効率のトレードオフがあります。
この研究では、集中型のニューラル ネットワーク ベースの連合学習システムを提案します。
集中型アルゴリズムには、クライアント デバイスとサーバーがそれぞれ順方向伝播と逆方向伝播を処理する従来のミニバッチ アルゴリズムからインスピレーションを得たマイクロレベルの並列処理が組み込まれています。
また、提案したアルゴリズムの半集中型バージョンも考案します。
このアルゴリズムは、エッジ コンピューティングを利用して中央サーバーからの負荷を最小限に抑えます。クライアントは、全体のトレイン時間をある程度犠牲にしながら、順方向伝播と逆方向伝播の両方を処理します。
私たちは、5 つのよく知られたベンチマーク データセットで提案したシステムを評価し、いくつかの既存のベンチマーク アルゴリズムと比較して、さまざまなデータ分散設定にわたって妥当な時間内に満足のいくパフォーマンスを達成しました。

要約(オリジナル)

With the growth of machine learning techniques, privacy of data of users has become a major concern. Most of the machine learning algorithms rely heavily on large amount of data which may be collected from various sources. Collecting these data yet maintaining privacy policies has become one of the most challenging tasks for the researchers. To combat this issue, researchers have introduced federated learning, where a prediction model is learnt by ensuring the privacy of data of clients data. However, the prevalent federated learning algorithms possess an accuracy and efficiency trade-off, especially for non-IID data. In this research, we propose a centralized, neural network-based federated learning system. The centralized algorithm incorporates micro-level parallel processing inspired by the traditional mini-batch algorithm where the client devices and the server handle the forward and backward propagation respectively. We also devise a semi-centralized version of our proposed algorithm. This algorithm takes advantage of edge computing for minimizing the load from the central server, where clients handle both the forward and backward propagation while sacrificing the overall train time to some extent. We evaluate our proposed systems on five well-known benchmark datasets and achieve satisfactory performance in a reasonable time across various data distribution settings as compared to some existing benchmark algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google