FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning

要約

フェデレーション ラーニングは、分散機械学習におけるプライバシー保護の課題に対するパラダイムを提供します。
ただし、現実世界の各クライアントに分散されるデータセットは必然的に異種であり、データセットがグローバルに集約できる場合、ロングテール分散になる傾向があり、モデルのパフォーマンスに大きな影響を与えます。
フェデレーション ラーニングへの従来のアプローチは、主にクライアント間のデータの異質性に対処しますが、グローバルなロングテール データにおけるクラスごとの偏りの現象には対処できません。
これにより、トレーニングされたモデルはヘッド クラスに焦点を当て、同様に重要なテール クラスは無視されます。
したがって、クラスを総合的に考慮する方法論を開発することが不可欠です。
上記の問題に対処するために、我々は新しいメソッド FedLF を提案します。このメソッドは、ローカル トレーニング フェーズに 3 つの修正 (適応ロジット調整、連続クラス中心最適化、および特徴の無相関化) を導入します。
データの不均一性とロングテール分布の度合いが異なる 7 つの最先端の手法を比較します。
ベンチマーク データセット CIFAR-10-LT および CIFAR-100-LT に対する広範な実験により、私たちのアプローチがデータの不均一性とロングテール分布によるモデルのパフォーマンス低下の問題を効果的に軽減できることが実証されました。
私たちのコードは https://github.com/18sym/FedLF で入手できます。

要約(オリジナル)

Federated learning offers a paradigm to the challenge of preserving privacy in distributed machine learning. However, datasets distributed across each client in the real world are inevitably heterogeneous, and if the datasets can be globally aggregated, they tend to be long-tailed distributed, which greatly affects the performance of the model. The traditional approach to federated learning primarily addresses the heterogeneity of data among clients, yet it fails to address the phenomenon of class-wise bias in global long-tailed data. This results in the trained model focusing on the head classes while neglecting the equally important tail classes. Consequently, it is essential to develop a methodology that considers classes holistically. To address the above problems, we propose a new method FedLF, which introduces three modifications in the local training phase: adaptive logit adjustment, continuous class centred optimization, and feature decorrelation. We compare seven state-of-the-art methods with varying degrees of data heterogeneity and long-tailed distribution. Extensive experiments on benchmark datasets CIFAR-10-LT and CIFAR-100-LT demonstrate that our approach effectively mitigates the problem of model performance degradation due to data heterogeneity and long-tailed distribution. our code is available at https://github.com/18sym/FedLF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google