Learning Cautiously in Federated Learning with Noisy and Heterogeneous Clients

要約

タイトル： ノイズと異種クライアントにおけるフェデレーテッドラーニングにおける慎重な学習

要約：

– Federated Learning（FL）は、プライバシー保証をしながら協働的にトレーニングするための分散フレームワークであり、現実世界のシナリオにおいて、クライアントはローカルクラスの不均衡（Non-IIDデータ）とラベルノイズの品質劣化を抱えています。
– FLの小さなローカルデータセットにおけるラベルノイズとクラスの不均衡の共存は、従来のFL手法とノイズラベル学習手法の両方が無効となっています。
– この問題に対処するために、FedCNIを提案します。これには追加のクリーンプロキシデータセットを使用しない耐ノイズのローカルソルバーと、頑健なグローバルアグリゲータが含まれます。
– ローカルソルバーでは、より頑強なプロトタイプノイズ検出器を設計して、ノイズが混じったサンプルを区別します。また、ノイズサンプルがもたらす悪影響を減らすために、カリキュラム擬似ラベリングとdenoise Mixupトレーニング戦略を考案します。
– グローバルアグリゲータについては、異なる学習段階に合わせて調整されたスイッチング再重み付け集約法を提案します。
– 幅広い実験により、当社の方法が、混合異種FL環境において、最先端のソリューションを大幅に上回ることが示されました。

要約(オリジナル)

Federated learning (FL) is a distributed framework for collaboratively training with privacy guarantees. In real-world scenarios, clients may have Non-IID data (local class imbalance) with poor annotation quality (label noise). The co-existence of label noise and class imbalance in FL’s small local datasets renders conventional FL methods and noisy-label learning methods both ineffective. To address the challenges, we propose FedCNI without using an additional clean proxy dataset. It includes a noise-resilient local solver and a robust global aggregator. For the local solver, we design a more robust prototypical noise detector to distinguish noisy samples. Further to reduce the negative impact brought by the noisy samples, we devise a curriculum pseudo labeling method and a denoise Mixup training strategy. For the global aggregator, we propose a switching re-weighted aggregation method tailored to different learning periods. Extensive experiments demonstrate our method can substantially outperform state-of-the-art solutions in mix-heterogeneous FL environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI