Peak-Controlled Logits Poisoning Attack in Federated Distillation

要約

Federated Distillation (FD) は、分散型機械学習への革新的なアプローチを提供し、知識の蒸留を活用して、中央サーバーに広範なモデル パラメーターをアップロードすることなく、効率的かつ柔軟なクロスデバイスの知識転送を実現します。
FD は人気を博していますが、ポイズニング攻撃に対する脆弱性はまだ解明されていません。
このギャップに対処するために、私たちは以前、ロジット通信を操作して誤解を招き、クライアント モデルのパフォーマンスを低下させる手法である FDLA (Federated Distillation Logits Attack) を導入しました。
ただし、異なるアイデンティティを持つ参加者に対する FDLA の影響や、知識伝達のさまざまな段階での悪意のある変更の影響はまだ調査されていません。
この目的を達成するために、FD に対する高度でよりステルスなロジット ポイズニング攻撃方法である PCFDLA (ピーク制御連合蒸留ロジット攻撃) を紹介します。
PCFDLA は、ロジットのピーク値を慎重に制御して、非常に誤解を招きやすいが目立たない変更を作成することで、FDLA の有効性を高めます。
さらに、攻撃の有効性をより適切に評価するための新しい指標を導入し、PCFDLA がステルス性を維持しながら、以前のバージョンと比較して被害者モデルに対する破壊性が大幅に向上していることを示しています。
さまざまなデータセットにわたる実験結果により、PCFDLA がモデルの精度に優れた影響を与えることが確認され、連合蒸留システムにおける PCFDLA の潜在的な脅威が確固たるものとなっています。

要約(オリジナル)

Federated Distillation (FD) offers an innovative approach to distributed machine learning, leveraging knowledge distillation for efficient and flexible cross-device knowledge transfer without necessitating the upload of extensive model parameters to a central server. While FD has gained popularity, its vulnerability to poisoning attacks remains underexplored. To address this gap, we previously introduced FDLA (Federated Distillation Logits Attack), a method that manipulates logits communication to mislead and degrade the performance of client models. However, the impact of FDLA on participants with different identities and the effects of malicious modifications at various stages of knowledge transfer remain unexplored. To this end, we present PCFDLA (Peak-Controlled Federated Distillation Logits Attack), an advanced and more stealthy logits poisoning attack method for FD. PCFDLA enhances the effectiveness of FDLA by carefully controlling the peak values of logits to create highly misleading yet inconspicuous modifications. Furthermore, we introduce a novel metric for better evaluating attack efficacy, demonstrating that PCFDLA maintains stealth while being significantly more disruptive to victim models compared to its predecessors. Experimental results across various datasets confirm the superior impact of PCFDLA on model accuracy, solidifying its potential threat in federated distillation systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google