FedNoRo: Towards Noise-Robust Federated Learning by Addressing Class Imbalance and Label Noise Heterogeneity

要約

Federated Noisy Label Learning (FNLL) は、プライバシーを保護するマルチソース分散学習のための有望なツールとして浮上しています。
既存の研究は、クラスバランスのとれたグローバル データの仮定に依存しており、特に医療シナリオでは、複雑なラベル ノイズをモデル化できない可能性があります。
この論文では、まず、グローバル データがクラス不均衡でラベル ノイズが不均一である、新しくてより現実的なフェデレーテッド ラベル ノイズ問題を定式化し、次に、ノイズに強いフェデレーテッド ラーニングのための FedNoRo という 2 段階のフレームワークを提案します。
具体的には、FedNoRo の第 1 段階では、ノイズの多いクライアントを識別するために、クラスごとの損失指標とそれに続くガウス混合モデルが導入されます。
第 2 段階では、ノイズに強いフェデレーテッド モデルの更新のために、知識の蒸留と距離を意識した集約関数が共同で採用されます。
広く使用されている ICH および ISIC2019 データセットの実験結果は、現実世界の FL シナリオにおけるクラスの不均衡とラベル ノイズの不均一性に対処するための、最先端の FNLL 手法に対する FedNoRo の優位性を示しています。

要約(オリジナル)

Federated noisy label learning (FNLL) is emerging as a promising tool for privacy-preserving multi-source decentralized learning. Existing research, relying on the assumption of class-balanced global data, might be incapable to model complicated label noise, especially in medical scenarios. In this paper, we first formulate a new and more realistic federated label noise problem where global data is class-imbalanced and label noise is heterogeneous, and then propose a two-stage framework named FedNoRo for noise-robust federated learning. Specifically, in the first stage of FedNoRo, per-class loss indicators followed by Gaussian Mixture Model are deployed for noisy client identification. In the second stage, knowledge distillation and a distance-aware aggregation function are jointly adopted for noise-robust federated model updating. Experimental results on the widely-used ICH and ISIC2019 datasets demonstrate the superiority of FedNoRo against the state-of-the-art FNLL methods for addressing class imbalance and label noise heterogeneity in real-world FL scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google