Federated Learning with Only Positive Labels by Exploring Label Correlations

要約

フェデレーテッド ラーニングは、プライバシーの制約の下で複数のユーザーからのデータを使用してモデルを共同学習することを目的としています。
この論文では、フェデレーテッド ラーニング設定の下でマルチラベル分類問題を研究します。この問題では、特に肯定的なデータのみが得られる場合に、自明な解決策と非常に低いパフォーマンスが得られる可能性があります。
クライアントごとに 1 つのクラス ラベルが提供されます。
この問題は、サーバー側に特別に設計されたレガライザーを追加することで解決できます。
有効な場合もありますが、ラベルの相関関係は単純に無視されるため、次善のパフォーマンスが得られる可能性があります。
さらに、特に対照的な方法でモデルをトレーニングする場合、ユーザーのプライベート エンベディングをサーバーとクライアント間で頻繁に交換するのはコストがかかり、安全でもありません。
これらの欠点を解決するために、Label Correlations (FedALC) を探索することによる Federated Averaging と呼ばれる新規で汎用的な方法を提案します。
具体的には、FedALC は、さまざまなラベル ペアのクラス埋め込み学習におけるラベル相関を推定し、それをモデルのトレーニングの改善に利用します。
安全性をさらに向上させ、通信オーバーヘッドも削減するために、サーバーとクライアントがクラス エンベディングを 1 回交換するだけで済むように、クライアントごとに固定クラス エンベディングを学習するバリアントを提案します。
複数の人気のあるデータセットに対する広範な実験により、当社の FedALC が既存のデータセットよりも大幅に優れたパフォーマンスを発揮できることが実証されました。

要約(オリジナル)

Federated learning aims to collaboratively learn a model by using the data from multiple users under privacy constraints. In this paper, we study the multi-label classification problem under the federated learning setting, where trivial solution and extremely poor performance may be obtained, especially when only positive data w.r.t. a single class label are provided for each client. This issue can be addressed by adding a specially designed regularizer on the server-side. Although effective sometimes, the label correlations are simply ignored and thus sub-optimal performance may be obtained. Besides, it is expensive and unsafe to exchange user’s private embeddings between server and clients frequently, especially when training model in the contrastive way. To remedy these drawbacks, we propose a novel and generic method termed Federated Averaging by exploring Label Correlations (FedALC). Specifically, FedALC estimates the label correlations in the class embedding learning for different label pairs and utilizes it to improve the model training. To further improve the safety and also reduce the communication overhead, we propose a variant to learn fixed class embedding for each client, so that the server and clients only need to exchange class embeddings once. Extensive experiments on multiple popular datasets demonstrate that our FedALC can significantly outperform existing counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google