Not all Minorities are Equal: Empty-Class-Aware Distillation for Heterogeneous Federated Learning

要約

データの異質性は、クライアント間のローカル データ分散の不均衡によって特徴付けられ、フェデレーテッド ラーニングにおいて重大な課題を引き起こします。
ローカルラベル配布における不均一性に対処するために多大な努力が払われてきた。
少数派のクラスはローカルで不均衡なデータに対する過剰適合により精度が低下するため、従来の方法ではローカル トレーニング中にクラスバランス学習手法が組み込まれることがよくありました。
すべてのクラスの平均精度が向上したにもかかわらず、空のクラス (クライアントのデータ分布に存在しないカテゴリを参照) は依然として十分に認識されていないことがわかります。
この論文では、空クラス蒸留とロジット抑制の両方を同時に統合する、異種混合連合学習における新しいアプローチである FedED を紹介します。
具体的には、空クラスの蒸留では、各クライアントのローカル トレーニング中に知識の蒸留を利用して、グローバル モデルからの空のクラスに関連する重要な情報を保持します。
さらに、ロジット抑制は、非ラベル クラスのネットワーク ロジットに直接ペナルティを課し、多数派クラスに偏っている可能性のある少数派クラスの誤分類に効果的に対処します。
広範な実験により、ラベル分布の変化の度合いが異なる多様なデータセットにわたって、以前の最先端の手法を上回る FedED の有効性が検証されています。

要約(オリジナル)

Data heterogeneity, characterized by disparities in local data distribution across clients, poses a significant challenge in federated learning. Substantial efforts have been devoted to addressing the heterogeneity in local label distribution. As minority classes suffer from worse accuracy due to overfitting on local imbalanced data, prior methods often incorporate class-balanced learning techniques during local training. Despite the improved mean accuracy across all classes, we observe that empty classes-referring to categories absent from a client’s data distribution-are still not well recognized. This paper introduces FedED, a novel approach in heterogeneous federated learning that integrates both empty-class distillation and logit suppression simultaneously. Specifically, empty-class distillation leverages knowledge distillation during local training on each client to retain essential information related to empty classes from the global model. Moreover, logit suppression directly penalizes network logits for non-label classes, effectively addressing misclassifications in minority classes that may be biased toward majority classes. Extensive experiments validate the efficacy of FedED, surpassing previous state-of-the-art methods across diverse datasets with varying degrees of label distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google