Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity

要約

このペーパーでは、悪意のあるビザンチン攻撃とデータの異質性が存在する場合のフェデレーテッド ラーニング (FL) について取り上げます。
新しいロバスト平均勾配アルゴリズム (RAGA) が提案されています。これは、集計に幾何中央値を活用し、ローカル更新の丸数を自由に選択できます。
強凸の損失関数や均一に分散したデータセットに基づいて収束解析を実行する既存の復元力のあるアプローチの多くとは異なり、私たちは異種のデータセットに対して強凸の損失関数だけでなく非凸の損失関数の収束解析も実行します。
私たちの理論的分析によると、悪意のあるユーザーからのデータセットの割合が半分未満である限り、RAGA は $\mathcal{O}({1}/{T^{2/3- \delta}} のレートで収束を達成できます)
)$ ここで、$T$ は反復数、非凸損失関数の場合は $\delta \in (0, 2/3)$、強い凸損失関数の場合は線形レートです。
さらに、データの不均一性がなくなるにつれて、静止点または大域的最適解が得られることが証明される。
実験結果は、ビザンチン攻撃に対する RAGA の堅牢性を裏付け、異種データセットに対するさまざまな強度のビザンチン攻撃下での収束パフォーマンスにおけるベースラインを超える RAGA の利点を検証します。

要約(オリジナル)

This paper deals with federated learning (FL) in the presence of malicious Byzantine attacks and data heterogeneity. A novel Robust Average Gradient Algorithm (RAGA) is proposed, which leverages the geometric median for aggregation and can freely select the round number for local updating. Different from most existing resilient approaches, which perform convergence analysis based on strongly-convex loss function or homogeneously distributed dataset, we conduct convergence analysis for not only strongly-convex but also non-convex loss function over heterogeneous dataset. According to our theoretical analysis, as long as the fraction of dataset from malicious users is less than half, RAGA can achieve convergence at rate $\mathcal{O}({1}/{T^{2/3- \delta}})$ where $T$ is the iteration number and $\delta \in (0, 2/3)$ for non-convex loss function, and at linear rate for strongly-convex loss function. Moreover, stationary point or global optimal solution is proved to obtainable as data heterogeneity vanishes. Experimental results corroborate the robustness of RAGA to Byzantine attacks and verifies the advantage of RAGA over baselines on convergence performance under various intensity of Byzantine attacks, for heterogeneous dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google