MP-FedCL: Multiprototype Federated Contrastive Learning for Edge Intelligence

要約

フェデレーション学習支援エッジ インテリジェンスにより、最新のインテリジェント サービスでのプライバシー保護が可能になります。
ただし、エッジ クライアント間で独立しておらず、同一に分散された (非 IID) 分散は、ローカル モデルのパフォーマンスを損なう可能性があります。
既存の単一プロトタイプベースの戦略は、特徴空間の平均を使用してクラスを表します。
ただし、通常、特徴空間はクラスター化されていないため、単一のプロトタイプではクラスを適切に表現できない場合があります。
これを動機として、この論文は、ラベルと特徴の歪みの両方を含む、非 IID 設定の下で単一プロトタイプよりもマルチプロトタイプ戦略を使用する有効性を実証する、マルチプロトタイプ連合対比学習アプローチ (MP-FedCL) を提案します。
具体的には、\textit{k-means} に基づくマルチプロトタイプ計算戦略が最初に提案され、埋め込み空間内のクラスを表すために複数のプロトタイプ ($k$ セントロイド) を使用して、クラス空間ごとに異なる埋め込み表現をキャプチャします。
各グローバル ラウンドでは、計算された複数のプロトタイプとそれぞれのモデル パラメーターがエッジ サーバーに送信されてグローバル プロトタイプ プールに集約され、ローカル トレーニングをガイドするためにすべてのクライアントに送り返されます。
最後に、各クライアントのローカル トレーニングでは、クライアント自身の教師あり学習タスクを最小限に抑え、教師あり対照学習を通じてグローバル プロトタイプ プール内の共有プロトタイプから学習します。これにより、クライアントは自分のクラスに関連する知識を他のクライアントから学ぶことが奨励され、各クライアントの無関係な知識の吸収が減少します。
グローバルな反復。
MNIST、Digit-5、Office-10、および DomainNet での実験結果は、私たちの方法が複数のベースラインを上回り、特徴およびラベルの非 IID 分布でそれぞれ平均テスト精度が約 4.6\% および 10.4\% 向上したことを示しています。

要約(オリジナル)

Federated learning-assisted edge intelligence enables privacy protection in modern intelligent services. However, not independent and identically distributed (non-IID) distribution among edge clients can impair the local model performance. The existing single prototype-based strategy represents a class by using the mean of the feature space. However, feature spaces are usually not clustered, and a single prototype may not represent a class well. Motivated by this, this paper proposes a multi-prototype federated contrastive learning approach (MP-FedCL) which demonstrates the effectiveness of using a multi-prototype strategy over a single-prototype under non-IID settings, including both label and feature skewness. Specifically, a multi-prototype computation strategy based on \textit{k-means} is first proposed to capture different embedding representations for each class space, using multiple prototypes ($k$ centroids) to represent a class in the embedding space. In each global round, the computed multiple prototypes and their respective model parameters are sent to the edge server for aggregation into a global prototype pool, which is then sent back to all clients to guide their local training. Finally, local training for each client minimizes their own supervised learning tasks and learns from shared prototypes in the global prototype pool through supervised contrastive learning, which encourages them to learn knowledge related to their own class from others and reduces the absorption of unrelated knowledge in each global iteration. Experimental results on MNIST, Digit-5, Office-10, and DomainNet show that our method outperforms multiple baselines, with an average test accuracy improvement of about 4.6\% and 10.4\% under feature and label non-IID distributions, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google