Normalization Is All You Need: Understanding Layer-Normalized Federated Learning under Extreme Label Shift

要約

層正規化 (LN) は、特に基礎モデルの時代に広く採用されている深層学習手法です。
最近、LN は非 i.i.d. を使用したフェデレーテッド ラーニング (FL) において驚くほど効果的であることが示されました。
データ。
しかし、正確な理由と仕組みは依然として謎のままです。
この研究では、フェデレーション ラーニングにおける層の正規化とラベル シフト問題との間の深い関係を明らかにします。
FL における層の正規化をより深く理解するために、特徴正規化 (FN) と呼ばれる FL の正規化手法に寄与する主要なメカニズムを特定します。これは、分類子ヘッドの前に潜在特徴表現に正規化を適用します。
LN と FN は表現力を向上させませんが、特徴の崩壊と大きく偏ったデータセットへの局所的な過剰適合を制御するため、グローバル トレーニングが高速化されます。
極端なラベルシフトの下では、正規化によって標準ベンチマークが大幅に改善されることが経験的に示されています。
さらに、私たちはフロリダ州の層の正規化の重要な要素を理解するために広範なアブレーション研究を実施しています。
私たちの結果は、FN が、特に各クライアントが少数のクラスにアクセスできる極端なラベル シフトの下で、学習率の選択に対する堅牢性を維持しながら、FL の収束を大幅に向上させる LN 内の重要な要素であることを証明しています。

要約(オリジナル)

Layer normalization (LN) is a widely adopted deep learning technique especially in the era of foundation models. Recently, LN has been shown to be surprisingly effective in federated learning (FL) with non-i.i.d. data. However, exactly why and how it works remains mysterious. In this work, we reveal the profound connection between layer normalization and the label shift problem in federated learning. To understand layer normalization better in FL, we identify the key contributing mechanism of normalization methods in FL, called feature normalization (FN), which applies normalization to the latent feature representation before the classifier head. Although LN and FN do not improve expressive power, they control feature collapse and local overfitting to heavily skewed datasets, and thus accelerates global training. Empirically, we show that normalization leads to drastic improvements on standard benchmarks under extreme label shift. Moreover, we conduct extensive ablation studies to understand the critical factors of layer normalization in FL. Our results verify that FN is an essential ingredient inside LN to significantly improve the convergence of FL while remaining robust to learning rate choices, especially under extreme label shift where each client has access to few classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google