FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning

要約

Federated Learning (FL) は、分散型設定でデータのプライバシーを維持しながらモデルをトレーニングするための協調的な方法です。
ただし、FL はデータの異質性に関連する課題に直面し、パフォーマンスの低下を引き起こす可能性があります。
私たちの研究では、データの異質性が増加するにつれて、FedAVG モデルの特徴表現が分類器の重みと比較して大幅に劣化することが観察されました。
さらに、データの異質性が増加するにつれて、分類器の重みノルムの動作とは対照的に、ローカル モデルから取得された観察クラスの高次の特徴ノルムと未観察クラスの特徴ノルムの間のギャップが拡大することが観察されます。
この拡大するギャップは、ローカル モデルとグローバル モデルの間の特徴標準の差異を含むまで拡大します。
これらの問題に対処するために、簡単な学習方法である Federated Averaging with Feature Normalization Update (FedFN) を導入します。
私たちは、事前トレーニングされた ResNet18 に適用した場合でも、広範な実験を通じて FedFN の優れたパフォーマンスを実証しました。
続いて、基礎モデルへの FedFN の適用性を確認します。

要約(オリジナル)

Federated Learning (FL) is a collaborative method for training models while preserving data privacy in decentralized settings. However, FL encounters challenges related to data heterogeneity, which can result in performance degradation. In our study, we observe that as data heterogeneity increases, feature representation in the FedAVG model deteriorates more significantly compared to classifier weight. Additionally, we observe that as data heterogeneity increases, the gap between higher feature norms for observed classes, obtained from local models, and feature norms of unobserved classes widens, in contrast to the behavior of classifier weight norms. This widening gap extends to encompass the feature norm disparities between local and the global models. To address these issues, we introduce Federated Averaging with Feature Normalization Update (FedFN), a straightforward learning method. We demonstrate the superior performance of FedFN through extensive experiments, even when applied to pretrained ResNet18. Subsequently, we confirm the applicability of FedFN to foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google