ACE: A Model Poisoning Attack on Contribution Evaluation Methods in Federated Learning

要約

Federated Learning (FL) では、一連のクライアントが、ローカル トレーニング データを共有せずに、機械学習モデル (グローバル モデルと呼ばれる) を共同でトレーニングします。
クライアントのローカル トレーニング データは通常、非 ID です。
不均一であるため、グローバル モデルの最終的なパフォーマンスに対する個々のクライアントの貢献度は異なります。
これに応えて、サーバーが各クライアントの貢献を評価し、貢献度の高いクライアントに FL への長期的な参加を維持するよう奨励できる、多くの貢献評価方法が提案されました。
既存の研究は主に、各クライアントの貢献度をより適切に測定するための新しい指標やアルゴリズムの開発に焦点を当てています。
ただし、敵対的な環境で動作する FL の貢献度評価方法の安全性はほとんど調査されていません。
この論文では、ACEと呼ばれる、フロリダ州の寄与評価手法に対する最初のモデルポイズニング攻撃を提案します。
具体的には、ACE を利用する悪意のあるクライアントは、ローカル トレーニング データの品質が実際に低い場合でも、サーバーによって貢献度が高いと評価されるようにローカル モデルのパラメータを操作できることを示します。
私たちはACEの理論的分析と実証的評価の両方を実行します。
理論的には、サーバーが貢献度を測定するために広く使用されているコサイン距離メトリックを使用する場合、ACE の設計が悪意のあるクライアントの認識される貢献度を効果的に高めることができることを示します。
経験的に、私たちの結果は、ACE が 5 つの最先端の貢献評価方法を効果的かつ効率的に欺いていることを示しています。
さらに、ACE はテスト入力に対する最終的なグローバル モデルの精度を維持します。
ACEを守るための6つの対抗策も探ります。
私たちの結果は、それらがACEを阻止するには不十分であることを示しており、フロリダ州の貢献評価方法を保護するための新たな防御策が緊急に必要であることを浮き彫りにしています。

要約(オリジナル)

In Federated Learning (FL), a set of clients collaboratively train a machine learning model (called global model) without sharing their local training data. The local training data of clients is typically non-i.i.d. and heterogeneous, resulting in varying contributions from individual clients to the final performance of the global model. In response, many contribution evaluation methods were proposed, where the server could evaluate the contribution made by each client and incentivize the high-contributing clients to sustain their long-term participation in FL. Existing studies mainly focus on developing new metrics or algorithms to better measure the contribution of each client. However, the security of contribution evaluation methods of FL operating in adversarial environments is largely unexplored. In this paper, we propose the first model poisoning attack on contribution evaluation methods in FL, termed ACE. Specifically, we show that any malicious client utilizing ACE could manipulate the parameters of its local model such that it is evaluated to have a high contribution by the server, even when its local training data is indeed of low quality. We perform both theoretical analysis and empirical evaluations of ACE. Theoretically, we show our design of ACE can effectively boost the malicious client’s perceived contribution when the server employs the widely-used cosine distance metric to measure contribution. Empirically, our results show ACE effectively and efficiently deceive five state-of-the-art contribution evaluation methods. In addition, ACE preserves the accuracy of the final global models on testing inputs. We also explore six countermeasures to defend ACE. Our results show they are inadequate to thwart ACE, highlighting the urgent need for new defenses to safeguard the contribution evaluation methods in FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google