FedQV: Leveraging Quadratic Voting in Federated Learning

要約

Federated Learning (FL) を使用すると、さまざまな関係者がそれぞれのローカル ラベルを開示することなく、グローバル モデルを共同でトレーニングできます。
FL の重要なステップ、つまりローカル モデルを集約してグローバル モデルを作成するステップは、公共の意思決定、特に選挙と多くの類似点を共有しています。
この文脈では、FL の主要な弱点、つまりポイズニング攻撃に対する脆弱性は、現代の集計ルールのほとんどを支えている 1 人 1 票 (以下、1p1v) 原則の結果として解釈できます。
この論文では、1p1v ベースの選挙に代わるより良い代替手段として最近提案された、二次投票スキームに基づいて構築された新しい集計アルゴリズムである FedQV を提案します。
私たちの理論分析により、FedQV は真実のメカニズムであり、ユーザーの本当の評価に応じた入札が主要な戦略であり、最先端の手法と同等の収束率を達成することが証明されています。
さらに、複数の実世界のデータセットを使用した実証分析により、ポイズニング攻撃に対する FedQV の優れたパフォーマンスが検証されています。
また、FedQV と評判スコアに応じた不平等な投票「予算」を組み合わせることで、パフォーマンス上の利点がさらに高まることも示しています。
最後に、FedQV をビザンチンの堅牢なプライバシー保護メカニズムと簡単に組み合わせて、ポイズニングとプライバシー攻撃の両方に対する堅牢性を強化できることを示します。

要約(オリジナル)

Federated Learning (FL) permits different parties to collaboratively train a global model without disclosing their respective local labels. A crucial step of FL, that of aggregating local models to produce the global one, shares many similarities with public decision-making, and elections in particular. In that context, a major weakness of FL, namely its vulnerability to poisoning attacks, can be interpreted as a consequence of the one person one vote (henceforth 1p1v) principle underpinning most contemporary aggregation rules. In this paper, we propose FedQV, a novel aggregation algorithm built upon the quadratic voting scheme, recently proposed as a better alternative to 1p1v-based elections. Our theoretical analysis establishes that FedQV is a truthful mechanism in which bidding according to one’s true valuation is a dominant strategy that achieves a convergence rate that matches those of state-of-the-art methods. Furthermore, our empirical analysis using multiple real-world datasets validates the superior performance of FedQV against poisoning attacks. It also shows that combining FedQV with unequal voting “budgets” according to a reputation score increases its performance benefits even further. Finally, we show that FedQV can be easily combined with Byzantine-robust privacy-preserving mechanisms to enhance its robustness against both poisoning and privacy attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google