Exploring Vacant Classes in Label-Skewed Federated Learning

要約

ラベル スキューは、クライアント間でのローカル ラベル分布の不均衡によって特徴付けられ、フェデレーテッド ラーニングにおいて重大な課題を引き起こします。
少数派のクラスはローカルで不均衡なデータに対する過剰適合により精度が低下するため、従来の方法ではローカル トレーニング中にクラスバランス学習手法が組み込まれることがよくありました。
これらの方法はすべてのクラスの平均精度を向上させますが、クライアントのデータ分布に存在しないカテゴリを指す空のクラスは依然として十分に認識されていないことがわかります。
さらに、少数派クラスに関するローカル モデルの精度には、グローバル モデルと比較して依然としてギャップがあります。
この論文では、空クラス蒸留とロジット抑制の両方を同時に統合する、ラベル歪み連合学習への新しいアプローチである FedVLS を紹介します。
具体的には、空クラスの蒸留では、各クライアントのローカル トレーニング中に知識の蒸留を利用して、グローバル モデルから空クラスに関連する重要な情報を保持します。
さらに、ロジット抑制は、非ラベル クラスのネットワーク ロジットに直接ペナルティを課し、多数派クラスに偏っている可能性のある少数派クラスの誤分類に効果的に対処します。
広範な実験により FedVLS の有効性が検証され、さまざまな程度のラベル スキューを持つ多様なデータセットにわたって、以前の最先端 (SOTA) 手法と比較して優れたパフォーマンスが実証されました。
コードは補足資料で入手できます。

要約(オリジナル)

Label skews, characterized by disparities in local label distribution across clients, pose a significant challenge in federated learning. As minority classes suffer from worse accuracy due to overfitting on local imbalanced data, prior methods often incorporate class-balanced learning techniques during local training. Although these methods improve the mean accuracy across all classes, we observe that vacant classes-referring to categories absent from a client’s data distribution-remain poorly recognized. Besides, there is still a gap in the accuracy of local models on minority classes compared to the global model. This paper introduces FedVLS, a novel approach to label-skewed federated learning that integrates both vacant-class distillation and logit suppression simultaneously. Specifically, vacant-class distillation leverages knowledge distillation during local training on each client to retain essential information related to vacant classes from the global model. Moreover, logit suppression directly penalizes network logits for non-label classes, effectively addressing misclassifications in minority classes that may be biased toward majority classes. Extensive experiments validate the efficacy of FedVLS, demonstrating superior performance compared to previous state-of-the-art (SOTA) methods across diverse datasets with varying degrees of label skews. Code is available in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google