FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator

要約

Federated Learning(FL)は、分散化されたクライアント間で協調的なその場学習を可能にすることで、データプライバシーを容易にする。その固有の利点にもかかわらず、FLは、独立かつ同一に分布していない（非i.i.d.）データを扱う場合、性能と収束の重要な課題に直面する。これまでの研究では、主にクライアント間のラベル分布が歪んでいる問題に取り組んできたが、本研究では、クライアントデータが特徴分布の異なる異なるドメインに由来する、あまり検討されていないマルチドメインFLという課題に焦点を当てる。これらの課題に対処するために設計された新しい方法を紹介する：James-Stein Estimatorによるマルチドメイン連携学習の強化。FedSteinは、ローカルのBNパラメータを維持したまま、バッチ正規化（BN）統計量のJames-Stein（JS）推定値のみをクライアント間でユニークに共有します。非BNレイヤーのパラメータは標準的なFL技術で交換されます。つのデータセットと複数のモデルにわたって行われた広範な実験により、FedSteinがFedAvgやFedBNといった既存の手法を凌駕し、あるドメインでは14％を超える精度の向上により、ドメインの汎化が強化されたことが実証されました。コードは https://github.com/sunnyinAI/FedStein にあります。

要約(オリジナル)

Federated Learning (FL) facilitates data privacy by enabling collaborative in-situ training across decentralized clients. Despite its inherent advantages, FL faces significant challenges of performance and convergence when dealing with data that is not independently and identically distributed (non-i.i.d.). While previous research has primarily addressed the issue of skewed label distribution across clients, this study focuses on the less explored challenge of multi-domain FL, where client data originates from distinct domains with varying feature distributions. We introduce a novel method designed to address these challenges FedStein: Enhancing Multi-Domain Federated Learning Through the James-Stein Estimator. FedStein uniquely shares only the James-Stein (JS) estimates of batch normalization (BN) statistics across clients, while maintaining local BN parameters. The non-BN layer parameters are exchanged via standard FL techniques. Extensive experiments conducted across three datasets and multiple models demonstrate that FedStein surpasses existing methods such as FedAvg and FedBN, with accuracy improvements exceeding 14% in certain domains leading to enhanced domain generalization. The code is available at https://github.com/sunnyinAI/FedStein

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL