Federated Noisy Client Learning

要約

フェデレーテッド ラーニング (FL) は、データのプライバシーを保護するためにトレーニング データを分散させたまま、複数のローカル クライアントに応じて共有グローバル モデルを共同でトレーニングします。
ただし、標準の FL メソッドは、共有モデルの全体的なパフォーマンスに悪影響を及ぼす可能性があるノイズの多いクライアントの問題を無視します。
最初に、FL のノイズの多いクライアントによって引き起こされる重大な問題を調査し、さまざまなレイヤーによって学習された表現の観点から、ノイズの多いクライアントの悪影響を定量化します。
次の 2 つの重要な観察結果があります。(1) ノイズの多いクライアントは、FL のグローバル モデルの収束とパフォーマンスに深刻な影響を与える可能性があります。(2) ノイズの多いクライアントは、グローバル モデルの以前の層よりも深い層でより大きなバイアスを引き起こす可能性があります。
モデル。
上記の観察に基づいて、ノイズの多いクライアントとの堅牢な連合学習を行うフレームワークである Fed-NCL を提案します。
具体的には、Fed-NCL はまず、データの品質とモデルの相違を適切に推定することにより、ノイズの多いクライアントを識別します。
次に、各クライアントのローカルモデルを適応的に集約して、ノイズの多いクライアントによって引き起こされるデータの不均一性に対処するための堅牢なレイヤーごとの集約が提案されます。
グローバルモデルの一般化を改善するために、ノイズの多いクライアントでラベル修正をさらに実行します。
さまざまなデータセットでの実験結果は、私たちのアルゴリズムが、ノイズの多いクライアントを含むさまざまな最先端システムのパフォーマンスを向上させることを示しています。
コードは https://github.com/TKH666/Fed-NCL で入手できます

要約(オリジナル)

Federated learning (FL) collaboratively trains a shared global model depending on multiple local clients, while keeping the training data decentralized in order to preserve data privacy. However, standard FL methods ignore the noisy client issue, which may harm the overall performance of the shared model. We first investigate critical issue caused by noisy clients in FL and quantify the negative impact of the noisy clients in terms of the representations learned by different layers. We have the following two key observations: (1) the noisy clients can severely impact the convergence and performance of the global model in FL, and (2) the noisy clients can induce greater bias in the deeper layers than the former layers of the global model. Based on the above observations, we propose Fed-NCL, a framework that conducts robust federated learning with noisy clients. Specifically, Fed-NCL first identifies the noisy clients through well estimating the data quality and model divergence. Then robust layer-wise aggregation is proposed to adaptively aggregate the local models of each client to deal with the data heterogeneity caused by the noisy clients. We further perform the label correction on the noisy clients to improve the generalization of the global model. Experimental results on various datasets demonstrate that our algorithm boosts the performances of different state-of-the-art systems with noisy clients. Our code is available on https://github.com/TKH666/Fed-NCL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google