Making Batch Normalization Great in Federated Deep Learning

要約

バッチ正規化 (BN) は、集中型トレーニングでの安定性を向上させ、収束を高速化するために、最新の深層学習で一般的に使用されています。
非 IID 分散データを使用したフェデレーテッド ラーニング (FL) では、以前の研究では、トレーニングとテストの間の BN 統計の不一致により、BN を使用したトレーニングがパフォーマンスを妨げる可能性があることが観察されました。
したがって、グループ正規化 (GN) は、BN の代わりに FL でよく使用されます。
この論文では、クライアントとサーバー間の高頻度通信でも BN を劣悪なものにする FL における BN のより根本的な問題を特定します。
次に、BN を大幅に改善し、幅広い FL 設定にわたって GN を上回るパフォーマンスを実現する、イライラするほど単純な処理を提案します。
この調査とともに、フロリダ州におけるBNの理不尽な行動も明らかにします。
一般に FL が大幅に劣化すると考えられている低周波通信領域では、非常に堅牢であることがわかりました。
私たちの研究が今後のフロリダ州での実用化や理論分析の貴重な参考となることを願っています。

要約(オリジナル)

Batch Normalization (BN) is commonly used in modern deep learning to improve stability and speed up convergence in centralized training. In federated learning (FL) with non-IID decentralized data, previous works observed that training with BN could hinder performance due to the mismatch of the BN statistics between training and testing. Group Normalization (GN) is thus more often used in FL as an alternative to BN. In this paper, we identify a more fundamental issue of BN in FL that makes BN inferior even with high-frequency communication between clients and servers. We then propose a frustratingly simple treatment, which significantly improves BN and makes it outperform GN across a wide range of FL settings. Along with this study, we also reveal an unreasonable behavior of BN in FL. We find it quite robust in the low-frequency communication regime where FL is commonly believed to degrade drastically. We hope that our study could serve as a valuable reference for future practical usage and theoretical analysis in FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google