Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation

要約

高度に洗練されたニューラル ネットワークの開発により、コンピューター ビジョンのあらゆる分野で急速な進歩が可能になりましたが、プライバシーやセキュリティ上の懸念により注釈付きデータが禁止されているアプリケーションは依然として困難です。
Federated Learning (FL) は、データのプライバシーを保護しながら共有モデルを共同開発することを目指す個人に有望なフレームワークを提供します。
それにもかかわらず、私たちの調査結果は、主に集約プロセスの不安定性により、クライアント間のデータ分布の変動が FL 手法に大きな影響を与える可能性があることを明らかにしています。
また、個々のパラメータの枝刈り技術と正則化技術を組み合わせて、個々のクライアントのモデルの集約に対する堅牢性を向上させることで、フェデレーテッド クライアント間の共変量シフトの悪影響を軽減する新しい FL フレームワークを提案します。
各クライアントのモデルは、マグニチュードベースのプルーニングとドロップアウト層とノイズ注入層の追加を通じて最適化され、ネットワーク内でより回復力のある意思決定経路を構築し、モデルのパラメーター集約ステップの堅牢性を向上させます。
提案されたフレームワークは、クライアント データの分布間で非常に大きな共変量シフトが存在する場合や、少数のクライアントのフェデレーションにおいても、堅牢な表現を抽出することができます。
経験的な調査結果は、CIFAR10、MNIST、SVHN、ファッション MNIST などの一般的なベンチマーク データセットにわたって、私たちが提案する方法論の有効性を実証しています。
さらに、より現実的なドメインでのパフォーマンスを評価するために特別に設計された CelebA-Gender データセットを紹介します。
提案された方法は、クライアント データの分布間に共変量の高低の両方のシフトが存在する場合でも、ロバストな表現を抽出できます。

要約(オリジナル)

The development of highly sophisticated neural networks has allowed for fast progress in every field of computer vision, however, applications where annotated data is prohibited due to privacy or security concerns remain challenging. Federated Learning (FL) offers a promising framework for individuals aiming to collaboratively develop a shared model while preserving data privacy. Nevertheless, our findings reveal that variations in data distribution among clients can profoundly affect FL methodologies, primarily due to instabilities in the aggregation process. We also propose a novel FL framework to mitigate the adverse effects of covariate shifts among federated clients by combining individual parameter pruning and regularization techniques to improve the robustness of individual clients’ models to aggregate. Each client’s model is optimized through magnitude-based pruning and the addition of dropout and noise injection layers to build more resilient decision pathways in the networks and improve the robustness of the model’s parameter aggregation step. The proposed framework is capable of extracting robust representations even in the presence of very large covariate shifts among client data distributions and in the federation of a small number of clients. Empirical findings substantiate the effectiveness of our proposed methodology across common benchmark datasets, including CIFAR10, MNIST, SVHN, and Fashion MNIST. Furthermore, we introduce the CelebA-Gender dataset, specifically designed to evaluate performance on a more realistic domain. The proposed method is capable of extracting robust representations even in the presence of both high and low covariate shifts among client data distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google