FedFixer: Mitigating Heterogeneous Label Noise in Federated Learning

要約

Federated Learning (FL) のパフォーマンスはラベルの品質に大きく依存します。
ただし、個々のクライアント間のラベルの配布には常にノイズが多く、不均一です。
異種ラベル ノイズ内のクライアント固有のサンプルによって生じる高い損失は、クライアント固有のラベル サンプルとノイズのあるラベル サンプルを区別する際に課題を引き起こし、既存のラベル ノイズ学習アプローチの有効性に影響を与えます。
この問題に取り組むために、私たちは FedFixer を提案します。FedFixer では、パーソナライズされたモデルが導入され、グローバル モデルと連携して、クリーンなクライアント固有のサンプルを効果的に選択します。
デュアル モデルでは、パーソナライズされたモデルをローカル レベルのみで更新すると、サンプルが限られているためにノイズの多いデータで過剰適合が発生する可能性があり、その結果、ローカル モデルとグローバル モデルの両方のパフォーマンスに影響を与えます。
過剰適合を軽減するために、私たちは 2 つの観点からこの懸念に対処します。
まず、ラベル ノイズによって引き起こされる信頼性の低い予測の影響を軽減するために、信頼性の正則化を採用します。
次に、パーソナライズされたモデルとグローバル モデル間の差異を制限するために、距離正則化機能が実装されます。
私たちは、ベンチマーク データセットに対する広範な実験を通じて FedFixer の有効性を検証します。
この結果は、FedFixer が、特に異質性の高いラベル ノイズ シナリオにおいて、さまざまなクライアント上のノイズのあるラベル サンプルをフィルタリングする際に良好なパフォーマンスを発揮できることを示しています。

要約(オリジナル)

Federated Learning (FL) heavily depends on label quality for its performance. However, the label distribution among individual clients is always both noisy and heterogeneous. The high loss incurred by client-specific samples in heterogeneous label noise poses challenges for distinguishing between client-specific and noisy label samples, impacting the effectiveness of existing label noise learning approaches. To tackle this issue, we propose FedFixer, where the personalized model is introduced to cooperate with the global model to effectively select clean client-specific samples. In the dual models, updating the personalized model solely at a local level can lead to overfitting on noisy data due to limited samples, consequently affecting both the local and global models’ performance. To mitigate overfitting, we address this concern from two perspectives. Firstly, we employ a confidence regularizer to alleviate the impact of unconfident predictions caused by label noise. Secondly, a distance regularizer is implemented to constrain the disparity between the personalized and global models. We validate the effectiveness of FedFixer through extensive experiments on benchmark datasets. The results demonstrate that FedFixer can perform well in filtering noisy label samples on different clients, especially in highly heterogeneous label noise scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google