FedNoisy: Federated Noisy Label Learning Benchmark

要約

フェデレーテッド ラーニングは、クライアントからの機密データを集約することなく分散学習を行うために人気を集めています。
しかしその一方で、データ分離の分散的で孤立した性質はデータの品質によって複雑になる可能性があり、ノイズの多いラベルに対してより脆弱になる可能性があります。
集中型または連合型の設定でノイズの多いラベルの悪影響を防ぐために、多くの取り組みが行われています。
ただし、さまざまな典型的な FL 設定におけるノイズの多いラベルの影響を包括的に考慮するベンチマークが不足しています。
この研究では、研究者が潜在的なフェデレーションのノイズの多い設定を完全に調査するのに役立つ最初の標準化されたベンチマークを提供します。
また、これらのデータ設定の特性を調査し、将来の手法開発を導く可能性があるフェデレーテッド ノイジー ラベル学習に関する困難なシナリオを解明するために、包括的な実験を実施します。
フェデレーテッド ノイジー ラベル学習用のベンチマークと標準化されたシミュレーション パイプラインで提案されている 5 つ以上のデータセットの 20 の基本設定を紹介します。
このベンチマークによって、ノイズの多いラベルを使用したフェデレーテッド ラーニングにおけるアイデアの検証が容易になることを期待しています。
\texttt{FedNoisy} は \codeword{https://github.com/SMILELab-FL/FedNoisy} で入手できます。

要約(オリジナル)

Federated learning has gained popularity for distributed learning without aggregating sensitive data from clients. But meanwhile, the distributed and isolated nature of data isolation may be complicated by data quality, making it more vulnerable to noisy labels. Many efforts exist to defend against the negative impacts of noisy labels in centralized or federated settings. However, there is a lack of a benchmark that comprehensively considers the impact of noisy labels in a wide variety of typical FL settings. In this work, we serve the first standardized benchmark that can help researchers fully explore potential federated noisy settings. Also, we conduct comprehensive experiments to explore the characteristics of these data settings and unravel challenging scenarios on the federated noisy label learning, which may guide method development in the future. We highlight the 20 basic settings for more than 5 datasets proposed in our benchmark and standardized simulation pipeline for federated noisy label learning. We hope this benchmark can facilitate idea verification in federated learning with noisy labels. \texttt{FedNoisy} is available at \codeword{https://github.com/SMILELab-FL/FedNoisy}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google