Does Differential Privacy Prevent Backdoor Attacks in Practice?

要約

Differential Privacy (DP) は、もともとプライバシーを保護するために開発されました。
しかし、最近では、機械学習 (ML) モデルをポイズニング攻撃から保護するために利用されており、DP-SGD は大きな注目を集めています。
それにもかかわらず、実際にバックドア攻撃を防ぐためのさまざまな DP 技術の有効性を評価するには、徹底的な調査が必要です。
この論文では、DP-SGD の有効性を調査し、文献で初めてバックドア攻撃の文脈で PATE を調査します。
また、バックドア攻撃に対する防御における DP アルゴリズムのさまざまなコンポーネントの役割を調査し、PATE が使用する教師モデルのバギング構造により、これらの攻撃に対して効果的であることを示します。
私たちの実験により、トレーニング データセット内のハイパーパラメーターとバックドアの数が DP アルゴリズムの成功に影響を与えることが明らかになりました。
さらに、DP-SGD および PATE のより高速かつ正確な代替手段として Label-DP を提案します。
Label-DP アルゴリズムは一般にプライバシー保護が弱いものの、正確なハイパーパラメータ調整により、モデルの精度を維持しながらバックドア攻撃を防御する点で DP 手法よりも効果的になる可能性があると結論付けています。

要約(オリジナル)

Differential Privacy (DP) was originally developed to protect privacy. However, it has recently been utilized to secure machine learning (ML) models from poisoning attacks, with DP-SGD receiving substantial attention. Nevertheless, a thorough investigation is required to assess the effectiveness of different DP techniques in preventing backdoor attacks in practice. In this paper, we investigate the effectiveness of DP-SGD and, for the first time in literature, examine PATE in the context of backdoor attacks. We also explore the role of different components of DP algorithms in defending against backdoor attacks and will show that PATE is effective against these attacks due to the bagging structure of the teacher models it employs. Our experiments reveal that hyperparameters and the number of backdoors in the training dataset impact the success of DP algorithms. Additionally, we propose Label-DP as a faster and more accurate alternative to DP-SGD and PATE. We conclude that while Label-DP algorithms generally offer weaker privacy protection, accurate hyper-parameter tuning can make them more effective than DP methods in defending against backdoor attacks while maintaining model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google