Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout

要約

ラベル分布の歪みによって引き起こされるデータの不均一性は、ユーザーのプライバシーを保護しながら、分散型データ ソースを介した共同モデル トレーニング用に特に開発されたフェデレーテッド ラーニングのモデル パフォーマンスを制限する重大な障害であることが示されています。
参加しているクライアントが不安定な状況にあり、ドロップアウトが頻繁にある場合、この課題はより深刻になる可能性があります。
以前の研究と私たちの経験的観察は、分類タスクの分類子ヘッドがラベルの歪みに対してより敏感であり、FedAvg の不安定なパフォーマンスが主に異なるクラス間の不均衡なトレーニング サンプルにあることを示しています。
偏った分類ヘッドは、特徴表現の学習にも影響を与えます。
したがって、バランスのとれた分類ヘッドを維持することは、より優れたグローバル モデルを構築するために非常に重要です。
この目的のために、クロスエントロピー損失を計算するための事前に調整されたsoftmax関数と、ローカルトレーニングのバランスを再調整するためのプロトタイプベースの機能拡張スキームを導入することにより、シンプルで効果的なフレームワークを提案します。これらはエッジデバイスにとって軽量であり、
グローバルなモデル集約を促進します。
IID 以外のデータとクライアントのドロップアウトが存在する場合の既存のベースラインに対するモデルのパフォーマンスの向上は、ベンチマーク分類タスクで広範な実験を行うことによって実証されています。

要約(オリジナル)

The label distribution skew induced data heterogeniety has been shown to be a significant obstacle that limits the model performance in federated learning, which is particularly developed for collaborative model training over decentralized data sources while preserving user privacy. This challenge could be more serious when the participating clients are in unstable circumstances and dropout frequently. Previous work and our empirical observations demonstrate that the classifier head for classification task is more sensitive to label skew and the unstable performance of FedAvg mainly lies in the imbalanced training samples across different classes. The biased classifier head will also impact the learning of feature representations. Therefore, maintaining a balanced classifier head is of significant importance for building a better global model. To this end, we propose a simple yet effective framework by introducing a prior-calibrated softmax function for computing the cross-entropy loss and a prototype-based feature augmentation scheme to re-balance the local training, which are lightweight for edge devices and can facilitate the global model aggregation. The improved model performance over existing baselines in the presence of non-IID data and client dropout is demonstrated by conducting extensive experiments on benchmark classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google