FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation

要約

フェデレーテッド・ラーニング（FL）は、分散したクライアント上で機械学習モデルを分散的に学習させるための新しいパラダイムである。学習スキームは、水平、垂直、またはハイブリッド（垂直と水平の両方）である。ディープニューラルネットワーク（DNN）モデリングに関する既存の研究のほとんどは、水平データ分布に焦点を当てており、垂直およびハイブリッド方式はあまり研究されていない。本稿では、垂直およびハイブリッドDNNベースの学習をモデル化するための一般化アルゴリズムFedEmbを提案する。我々のアルゴリズムのアイデアは、既存の研究と比較して、より高い推論精度、より強力なプライバシー保護特性、より低いクライアント・サーバ通信帯域幅需要によって特徴付けられる。実験結果は、FedEmbが特徴空間と主題空間の分割された分散型問題に取り組む効果的な手法であり、ローカルクライアントに保存されたデータセットに対して、限定的なプライバシーの暴露で0.3%から4.2%の推論精度の向上を示し、垂直ベースライン手法よりも88.9%の時間複雑度を削減することを示している。

要約(オリジナル)

Federated learning (FL) is an emerging paradigm for decentralized training of machine learning models on distributed clients, without revealing the data to the central server. The learning scheme may be horizontal, vertical or hybrid (both vertical and horizontal). Most existing research work with deep neural network (DNN) modelling is focused on horizontal data distributions, while vertical and hybrid schemes are much less studied. In this paper, we propose a generalized algorithm FedEmb, for modelling vertical and hybrid DNN-based learning. The idea of our algorithm is characterised by higher inference accuracy, stronger privacy-preserving properties, and lower client-server communication bandwidth demands as compared with existing work. The experimental results show that FedEmb is an effective method to tackle both split feature & subject space decentralized problems, shows 0.3% to 4.2% inference accuracy improvement with limited privacy revealing for datasets stored in local clients, and reduces 88.9 % time complexity over vertical baseline method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL