SphereFed: Hyperspherical Federated Learning

要約

連合学習は、プライベートローカルデータを交換することなく、複数の分散型デバイス（つまりクライアント）からグローバルモデルをトレーニングすることを目的としています。
重要な課題は、非i.i.dの処理です。
（独立して同じように分散された）複数のクライアントにまたがるデータで、ローカル機能の不一致を引き起こす可能性があります。
非i.i.dに対処するために、Hyperspherical Federated Learning（SphereFed）フレームワークを紹介します。
データポイントの学習された表現を、クライアントによって共有されるユニット超球上にあるように制約することによって問題を解決します。
具体的には、すべてのクライアントは、重みが単位超球にまたがる固定分類器に関する損失を最小限に抑えることによって、ローカル表現を学習します。
グローバルモデルを改善するための連合トレーニングの後、この分類器は、平均二乗損失を最小化することにより、閉じた形の解でさらに較正されます。
ローカルデータに直接アクセスすることなく、キャリブレーションソリューションを効率的かつ分散的に計算できることを示します。
広範な実験により、SphereFedアプローチは、データセットとモデルアーキテクチャ全体の計算と通信の効率を向上させ、既存の複数の連合学習アルゴリズムの精度をかなりのマージン（挑戦的なデータセットで最大6％）向上させることができることが示されています。

要約(オリジナル)

Federated Learning aims at training a global model from multiple decentralized devices (i.e. clients) without exchanging their private local data. A key challenge is the handling of non-i.i.d. (independent identically distributed) data across multiple clients that may induce disparities of their local features. We introduce the Hyperspherical Federated Learning (SphereFed) framework to address the non-i.i.d. issue by constraining learned representations of data points to be on a unit hypersphere shared by clients. Specifically, all clients learn their local representations by minimizing the loss with respect to a fixed classifier whose weights span the unit hypersphere. After federated training in improving the global model, this classifier is further calibrated with a closed-form solution by minimizing a mean squared loss. We show that the calibration solution can be computed efficiently and distributedly without direct access of local data. Extensive experiments indicate that our SphereFed approach is able to improve the accuracy of multiple existing federated learning algorithms by a considerable margin (up to 6% on challenging datasets) with enhanced computation and communication efficiency across datasets and model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google