Revisiting Ensembling in One-Shot Federated Learning

要約

フェデレーション ラーニング (FL) は、生データを共有せずに機械学習モデルをトレーニングするための魅力的なアプローチです。
ただし、標準の FL アルゴリズムは反復的であるため、かなりの通信コストが発生します。
ワンショット フェデレーション ラーニング (OFL) では、クライアントとサーバー間のモデルの反復交換が 1 回の通信で行われるため、通信コストが大幅に節約されます。
当然のことですが、特にデータの異質性が高い場合、OFL は FL に対して精度の点でパフォーマンスのギャップを示します。
OFL の通信効率で FL の精度に近づく新しいフェデレーテッド アンサンブル スキームである FENS を紹介します。
FENS での学習は 2 つのフェーズで進行します。まず、OFL と同様に、クライアントがモデルをローカルでトレーニングし、サーバーに送信します。
2 番目に、クライアントは FL を使用して軽量の予測アグリゲーター モデルを共同でトレーニングします。
いくつかのデータセットと異質性レベルにわたる徹底的な実験を通じて、FENS の有効性を示します。
異種分散された CIFAR-10 データセットの特定のケースでは、FENS は最先端 (SOTA) OFL よりも最大 26.9% 高い精度を達成しますが、FL よりもわずか 3.1% 低いだけです。
同時に、FENS は OFL に比べて最大 4.3 倍の通信量を要しますが、FL は FENS に比べて少なくとも 10.9 倍の通信量を要します。

要約(オリジナル)

Federated learning (FL) is an appealing approach to training machine learning models without sharing raw data. However, standard FL algorithms are iterative and thus induce a significant communication cost. One-shot federated learning (OFL) trades the iterative exchange of models between clients and the server with a single round of communication, thereby saving substantially on communication costs. Not surprisingly, OFL exhibits a performance gap in terms of accuracy with respect to FL, especially under high data heterogeneity. We introduce FENS, a novel federated ensembling scheme that approaches the accuracy of FL with the communication efficiency of OFL. Learning in FENS proceeds in two phases: first, clients train models locally and send them to the server, similar to OFL; second, clients collaboratively train a lightweight prediction aggregator model using FL. We showcase the effectiveness of FENS through exhaustive experiments spanning several datasets and heterogeneity levels. In the particular case of heterogeneously distributed CIFAR-10 dataset, FENS achieves up to a 26.9% higher accuracy over state-of-the-art (SOTA) OFL, being only 3.1% lower than FL. At the same time, FENS incurs at most 4.3x more communication than OFL, whereas FL is at least 10.9x more communication-intensive than FENS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google