Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training

要約

クライアント間の非 IID データ分散とポイズニング攻撃は、実際の連合学習システムにおける 2 つの主な課題です。
どちらも特定の戦略が開発されて大きな研究関心を集めていますが、統一されたフレームワークでそれらに対処する既知のソリューションはありません。
両方の課題を共同で克服するために、SmartFL を提案します。これは、サブスペース トレーニング手法を介して、サーバーで収集された小さなクリーンなプロキシ データセット (たとえば、約 100 サンプル、データセットの 0.2%) を使用してサーバー側の集計プロセスを最適化する一般的なアプローチです。
具体的には、各ラウンドで参加している各クライアントの集約の重みは、サーバーが収集したプロキシ データを使用して最適化されます。これは、本質的に、クライアント モデルがまたがる凸包におけるグローバル モデルの最適化です。
各ラウンドで、サーバー側で最適化された調整可能なパラメーターの数は、参加しているクライアントの数と同じであるため (したがって、モデルのサイズには依存しません)、少量のプロキシ データのみを使用して、大量のパラメーターを使用してグローバル モデルをトレーニングできます。
SmartFL の収束および汎化能力の理論的分析を提供します。
経験的に、SmartFL は非 IID データ配信によるフェデレーション ラーニングと悪意のあるクライアントによるフェデレーション ラーニングの両方で最先端のパフォーマンスを達成します。
ソースコードが公開されます。

要約(オリジナル)

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google