FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning

要約

フェデレーション ラーニング (FL) は、機械学習における新たなパラダイムであり、データ漏洩のリスクを軽減するために、複数のデバイスからのデータを使用して共有モデルを共同学習します。
最近の研究では、ビジョン トランスフォーマー (ViT) がフロリダ州のデータ異質性への対処において畳み込みニューラル ネットワーク (CNN) よりも優れていると仮定していますが、この利点を支える具体的なアーキテクチャ コンポーネントはまだ解明されていません。
このペーパーでは、活性化関数や正規化層などのさまざまなアーキテクチャ要素が異種 FL 内のパフォーマンスに及ぼす影響を体系的に調査します。
厳密な実証分析を通じて、ヘテロジニアス FL のマイクロアーキテクチャ設計原則に関するこれまでにない一般的なガイダンスを提供することができます。
興味深いことに、私たちの調査結果は、戦略的なアーキテクチャの変更により、フロリダ州で異種データ クライアントを処理する場合、純粋な CNN が ViT と同等またはそれを超えるレベルの堅牢性を達成できることを示しています。
さらに、当社のアプローチは既存の FL 技術と互換性があり、幅広い FL ベンチマークにわたって最先端のソリューションを提供します。
コードは https://github.com/UCSC-VLAA/FedConv で公開されています。

要約(オリジナル)

Federated learning (FL) is an emerging paradigm in machine learning, where a shared model is collaboratively learned using data from multiple devices to mitigate the risk of data leakage. While recent studies posit that Vision Transformer (ViT) outperforms Convolutional Neural Networks (CNNs) in addressing data heterogeneity in FL, the specific architectural components that underpin this advantage have yet to be elucidated. In this paper, we systematically investigate the impact of different architectural elements, such as activation functions and normalization layers, on the performance within heterogeneous FL. Through rigorous empirical analyses, we are able to offer the first-of-its-kind general guidance on micro-architecture design principles for heterogeneous FL. Intriguingly, our findings indicate that with strategic architectural modifications, pure CNNs can achieve a level of robustness that either matches or even exceeds that of ViTs when handling heterogeneous data clients in FL. Additionally, our approach is compatible with existing FL techniques and delivers state-of-the-art solutions across a broad spectrum of FL benchmarks. The code is publicly available at https://github.com/UCSC-VLAA/FedConv

arxiv情報

提供元, 利用サービス

arxiv.jp, Google