RCC-PFL: Robust Client Clustering under Noisy Labels in Personalized Federated Learning

要約

ユーザーがさまざまな個人モデルを学ぶことを目指しているパーソナライズされたフェデレーション学習（PFL）設定におけるクラスターID推定の問題に対処します。
このような設定での効果的な学習のバックボーンは、目標が類似しているグループにユーザーをクラスター化することです。
文献の典型的なアプローチは、さまざまな提案された個人モデルに関するユーザーのデータをトレーニングし、ユーザーの損失関数の最低値を達成するモデルに基づいてグループに割り当てることでこれを達成することです。
このプロセスは、グループアイデンティティが収束するまで繰り返し行われます。
このような設定での重要な課題は、ユーザーが騒々しいラベル付きデータを持っている場合に発生し、それが自分の損失関数の誤解を招く値を生み出し、したがって効果のないクラスタリングにつながる可能性があります。
この課題を克服するために、3つの主な利点を備えたRCC-PFLを作成したラベルに依存しないデータ類似性ベースのクラスタリングアルゴリズムを提案します。クラスターID推定手順は、トレーニングラベルから独立しています。
これは、トレーニング前に実行されるワンショットクラスタリングアルゴリズムです。
また、反復ベースのクラスタリング方法と比較して、通信ラウンドが少なく、計算が少なくなります。
さまざまなモデルとデータセットを使用して提案されたアルゴリズムを検証し、平均精度と分散削減の観点から複数のベースラインを上回ることを示します。

要約(オリジナル)

We address the problem of cluster identity estimation in a personalized federated learning (PFL) setting in which users aim to learn different personal models. The backbone of effective learning in such a setting is to cluster users into groups whose objectives are similar. A typical approach in the literature is to achieve this by training users’ data on different proposed personal models and assign them to groups based on which model achieves the lowest value of the users’ loss functions. This process is to be done iteratively until group identities converge. A key challenge in such a setting arises when users have noisy labeled data, which may produce misleading values of their loss functions, and hence lead to ineffective clustering. To overcome this challenge, we propose a label-agnostic data similarity-based clustering algorithm, coined RCC-PFL, with three main advantages: the cluster identity estimation procedure is independent from the training labels; it is a one-shot clustering algorithm performed prior to the training; and it requires fewer communication rounds and less computation compared to iterative-based clustering methods. We validate our proposed algorithm using various models and datasets and show that it outperforms multiple baselines in terms of average accuracy and variance reduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google