Preservation of the Global Knowledge by Not-True Distillation in Federated Learning

要約

フェデレーテッド ラーニングでは、強力なグローバル モデルが、クライアントのローカルでトレーニングされたモデルを集約することによって共同で学習されます。
これにより、クライアントのデータに直接アクセスする必要がなくなりますが、グローバル モデルの収束はデータの不均一性に悩まされることがよくあります。
この研究は、継続的な学習への類推から始まり、忘却が連合学習のボトルネックになる可能性があることを示唆しています。
グローバル モデルは以前のラウンドからの知識を忘れ、ローカル トレーニングはローカル分布外の知識の忘却を誘発することがわかります。
私たちの調査結果に基づいて、忘却に取り組むことでデータの不均一性の問題が緩和されるという仮説を立てています。
この目的のために、真ではないクラスに対してのみローカルに利用可能なデータに関するグローバルな視点を保持する、斬新で効果的なアルゴリズム、Federated Not-True Distillation (FedNTD) を提案します。
実験では、FedNTD は、データのプライバシーを侵害したり、追加の通信コストを発生させたりすることなく、さまざまなセットアップで最先端のパフォーマンスを示しています。

要約(オリジナル)

In federated learning, a strong global model is collaboratively learned by aggregating clients’ locally trained models. Although this precludes the need to access clients’ data directly, the global model’s convergence often suffers from data heterogeneity. This study starts from an analogy to continual learning and suggests that forgetting could be the bottleneck of federated learning. We observe that the global model forgets the knowledge from previous rounds, and the local training induces forgetting the knowledge outside of the local distribution. Based on our findings, we hypothesize that tackling down forgetting will relieve the data heterogeneity problem. To this end, we propose a novel and effective algorithm, Federated Not-True Distillation (FedNTD), which preserves the global perspective on locally available data only for the not-true classes. In the experiments, FedNTD shows state-of-the-art performance on various setups without compromising data privacy or incurring additional communication costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google