Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline for Federated Image Classifications

要約

Federated Learning (FL) は、機密データを保護し、モデルのパフォーマンスを向上させながら分散コラボレーションを可能にすることで、ディープ ニューラル ネットワークのトレーニング方法に革命をもたらしました。
しかし、FL は 2 つの重大な課題に直面しています。それは、個々のクライアントが保有するデータの多様性と、セキュリティ侵害に対する FL システムの脆弱性です。
この論文では、これらの課題に対処するだけでなく、FL システムの高度な集計技術の $\mathsf{baseline}$ として基本的な参照点を提供する、推定平均集計 (EMA) という名前の革新的なソリューションを紹介します。
EMA の重要性は、その 2 つの役割にあります。それは、トリミングされた手段を通じて悪意のある外れ値を効果的に処理することでモデルのセキュリティを強化することと、データの異質性を明らかにして、トレーニングされたモデルがさまざまなクライアント データセットに適応できるようにすることです。
豊富な実験を通じて、EMA は代替手法と比較して高い精度と曲線下面積 (AUC) を一貫して実証し、FL 集計手法の有効性とセキュリティを評価するための堅牢なベースラインとしての地位を確立しています。
したがって、EMA の貢献は、FL のコンテキストにおける分散型ディープラーニングの効率、セキュリティ、多用途性を向上させる上で重要な前進となります。

要約(オリジナル)

Federated Learning (FL) has revolutionized how we train deep neural networks by enabling decentralized collaboration while safeguarding sensitive data and improving model performance. However, FL faces two crucial challenges: the diverse nature of data held by individual clients and the vulnerability of the FL system to security breaches. This paper introduces an innovative solution named Estimated Mean Aggregation (EMA) that not only addresses these challenges but also provides a fundamental reference point as a $\mathsf{baseline}$ for advanced aggregation techniques in FL systems. EMA’s significance lies in its dual role: enhancing model security by effectively handling malicious outliers through trimmed means and uncovering data heterogeneity to ensure that trained models are adaptable across various client datasets. Through a wealth of experiments, EMA consistently demonstrates high accuracy and area under the curve (AUC) compared to alternative methods, establishing itself as a robust baseline for evaluating the effectiveness and security of FL aggregation methods. EMA’s contributions thus offer a crucial step forward in advancing the efficiency, security, and versatility of decentralized deep learning in the context of FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google