FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy Labels

要約

ノイズのあるラベルを使用したフェデレーテッド ラーニング (F-LNL) は、ローカルのノイズのあるサンプルまたはクリーンなサンプルでトレーニングされた複数のクライアント モデルを集約することにより、協調分散学習を通じて最適なサーバー モデルを探索することを目的としています。
連合学習フレームワークに基づいて、最近の進歩では主にラベル ノイズ フィルタリングを採用して、各クライアント上でクリーンなサンプルとノイズのあるサンプルを分離し、それによってラベル ノイズの悪影響を軽減します。
ただし、これらの従来の方法は、すべてのクライアントにわたる知識を活用してノイズ フィルターを学習しないため、最適ではないノイズ フィルターのパフォーマンスが低下し、トレーニングの安定性が損なわれます。
このペーパーでは、F-LNL の課題に取り組むための FedDiv を紹介します。
具体的には、フェデレーション ノイズ フィルターと呼ばれるグローバル ノイズ フィルターを提案します。これにより、すべてのクライアントでノイズの多いラベルを持つサンプルを効果的に識別し、ローカル トレーニング セッション中の安定性が向上します。
これは、データのプライバシーを犠牲にすることなく、すべてのクライアントにわたるラベル ノイズのグローバルな分布をモデル化することによって実現されます。
次に、グローバル モデルのパフォーマンスを向上させるために、予測整合性ベースのサンプラーを導入して、ローカル モデルのトレーニング用に、より信頼できるローカル データを特定します。これにより、ノイズの記憶が防止され、トレーニングの安定性がさらに高まります。
CIFAR-10、CIFAR-100、Clothing1M に関する広範な実験により、\texttt{FedDiv} は、IID データ パーティションと非 IID データ パーティションの両方で異なるラベル ノイズ設定の下で、最先端の F-LNL メソッドよりも優れたパフォーマンスを達成できることが実証されました。
ソースコードは https://github.com/lijichang/FLNL-FedDiv で公開されています。

要約(オリジナル)

Federated learning with noisy labels (F-LNL) aims at seeking an optimal server model via collaborative distributed learning by aggregating multiple client models trained with local noisy or clean samples. On the basis of a federated learning framework, recent advances primarily adopt label noise filtering to separate clean samples from noisy ones on each client, thereby mitigating the negative impact of label noise. However, these prior methods do not learn noise filters by exploiting knowledge across all clients, leading to sub-optimal and inferior noise filtering performance and thus damaging training stability. In this paper, we present FedDiv to tackle the challenges of F-LNL. Specifically, we propose a global noise filter called Federated Noise Filter for effectively identifying samples with noisy labels on every client, thereby raising stability during local training sessions. Without sacrificing data privacy, this is achieved by modeling the global distribution of label noise across all clients. Then, in an effort to make the global model achieve higher performance, we introduce a Predictive Consistency based Sampler to identify more credible local data for local model training, thus preventing noise memorization and further boosting the training stability. Extensive experiments on CIFAR-10, CIFAR-100, and Clothing1M demonstrate that \texttt{FedDiv} achieves superior performance over state-of-the-art F-LNL methods under different label noise settings for both IID and non-IID data partitions. Source code is publicly available at https://github.com/lijichang/FLNL-FedDiv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google