Federated Learning with a Single Shared Image

要約

Federated Learning (FL) を使用すると、プライベート トレーニング データを共有せずに、複数のマシンが機械学習モデルを共同でトレーニングできます。
しかし、特に異種モデルの場合、各クライアント モデルから得られた知識をサーバーに転送することが依然として大きなボトルネックとなっています。
一般的な手法の 1 つである FedDF は、蒸留を使用して、予測が交換される共通の共有データセットを使用してこのタスクに取り組みます。
ただし、多くの状況では、プライバシーの観点からそのようなデータセットの取得が困難であり、クライアントが大規模な共有データセットの保存を許可していない可能性があります。
この目的を達成するために、この文書では、クライアントとサーバー間の単一の共有イメージのみに依存するようにこの知識蒸留方法を改良した新しい方法を紹介します。
特に、単一の画像のみから生成された最も有益な作物を選択する、新しい適応型データセット プルーニング アルゴリズムを提案します。
これにより、限られた共有データセットの予算の下で蒸留を伴うフェデレーテッド ラーニングは、複数の個別の画像と比較して単一の画像を使用する方が効果的に機能することがわかります。
最後に、サーバー側での不均一な蒸留スケジュールとクライアント モデルのミラーリングを組み込むことで、異種クライアント アーキテクチャのトレーニングを可能にするアプローチを拡張します。

要約(オリジナル)

Federated Learning (FL) enables multiple machines to collaboratively train a machine learning model without sharing of private training data. Yet, especially for heterogeneous models, a key bottleneck remains the transfer of knowledge gained from each client model with the server. One popular method, FedDF, uses distillation to tackle this task with the use of a common, shared dataset on which predictions are exchanged. However, in many contexts such a dataset might be difficult to acquire due to privacy and the clients might not allow for storage of a large shared dataset. To this end, in this paper, we introduce a new method that improves this knowledge distillation method to only rely on a single shared image between clients and server. In particular, we propose a novel adaptive dataset pruning algorithm that selects the most informative crops generated from only a single image. With this, we show that federated learning with distillation under a limited shared dataset budget works better by using a single image compared to multiple individual ones. Finally, we extend our approach to allow for training heterogeneous client architectures by incorporating a non-uniform distillation schedule and client-model mirroring on the server side.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google