Is Normalization Indispensable for Multi-domain Federated Learning?

要約

フェデレーテッド ラーニング (FL) は、分散型クライアントでの共同の現場トレーニングによりデータ プライバシーを強化します。
それにも関わらず、FL は非独立で同一に分散された (非 i.i.d) データによる課題に直面し、潜在的なパフォーマンスの低下や収束の妨げにつながります。
以前の研究では主にラベルの偏り分布の問題が取り上げられていましたが、私たちの研究では、マルチドメイン FL として知られる重要でありながら見落とされがちな問題に取り組んでいます。
このシナリオでは、クライアントのデータは、ラベル分布とは対照的に、明確な特徴分布を持つ多様なドメインから生成されます。
FL のマルチドメイン問題に対処するために、正規化なしの連合学習 (FedWon) と呼ばれる新しい方法を提案します。
FedWon は、バッチ正規化 (BN) が複数のドメインの統計を効果的にモデル化する際に課題に直面している一方で、代替の正規化手法には独自の限界があるという観察からインスピレーションを得ています。
これらの問題に対処するために、FedWon は FL のすべての正規化を削除し、スケーリングされた重みの標準化を使用して畳み込み層を再パラメータ化します。
4 つのデータセットと 4 つのモデルに対する包括的な実験を通じて、私たちの結果は、FedWon がすべての実験設定において FedAvg と現在の最先端の手法 (FedBN) の両方を上回り、特定のドメインで 10% 以上の顕著な改善を達成したことを示しています。
さらに、FedWon はクロスサイロとクロスデバイス FL の両方に多用途であり、バッチ サイズが 1 程度でも強力なパフォーマンスを示し、リソースに制約のあるデバイスに対応します。
さらに、FedWon は偏ったラベル配布という課題にも効果的に取り組んでいます。

要約(オリジナル)

Federated learning (FL) enhances data privacy with collaborative in-situ training on decentralized clients. Nevertheless, FL encounters challenges due to non-independent and identically distributed (non-i.i.d) data, leading to potential performance degradation and hindered convergence. While prior studies predominantly addressed the issue of skewed label distribution, our research addresses a crucial yet frequently overlooked problem known as multi-domain FL. In this scenario, clients’ data originate from diverse domains with distinct feature distributions, as opposed to label distributions. To address the multi-domain problem in FL, we propose a novel method called Federated learning Without normalizations (FedWon). FedWon draws inspiration from the observation that batch normalization (BN) faces challenges in effectively modeling the statistics of multiple domains, while alternative normalization techniques possess their own limitations. In order to address these issues, FedWon eliminates all normalizations in FL and reparameterizes convolution layers with scaled weight standardization. Through comprehensive experimentation on four datasets and four models, our results demonstrate that FedWon surpasses both FedAvg and the current state-of-the-art method (FedBN) across all experimental setups, achieving notable improvements of over 10% in certain domains. Furthermore, FedWon is versatile for both cross-silo and cross-device FL, exhibiting strong performance even with a batch size as small as 1, thereby catering to resource-constrained devices. Additionally, FedWon effectively tackles the challenge of skewed label distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google