Detection and Defense of Unlearnable Examples

要約

ソーシャルメディアの出現により、プライバシーの保護はますます重要になっています。
深層学習モデルの一般化能力を低下させ、インターネット上での個人情報の漏洩を回避するために、学習不可能な例が提案されています。
しかし、私たちの研究では、学習不可能な例は簡単に検出できることが明らかになりました。
広範な実験によって実証されたように、特定の学習不可能なポイズニングされたデータセットの線形分離性と、既存のすべての学習不可能な例を識別できるシンプルなネットワークベースの検出方法に関する理論的結果を提供します。
単純なネットワークによる学習不可能な例の検出可能性は、新しい防御方法を設計する動機になります。
私たちは、単純なネットワークによって生成される敵対的なノイズと組み合わせた強力なデータ拡張を使用して、検出可能性を低下させ、学習不可能な例に対する効果的な防御を低コストで提供することを提案します。
多額の予算を投じた敵対的トレーニングは、学習不可能な例に対する防御方法として広く使用されています。
私たちは、強力な学習不可能な例の存在または敵対的防御の失敗を決定する、毒と敵対的予算の間の定量的な基準を確立します。

要約(オリジナル)

Privacy preserving has become increasingly critical with the emergence of social media. Unlearnable examples have been proposed to avoid leaking personal information on the Internet by degrading generalization abilities of deep learning models. However, our study reveals that unlearnable examples are easily detectable. We provide theoretical results on linear separability of certain unlearnable poisoned dataset and simple network based detection methods that can identify all existing unlearnable examples, as demonstrated by extensive experiments. Detectability of unlearnable examples with simple networks motivates us to design a novel defense method. We propose using stronger data augmentations coupled with adversarial noises generated by simple networks, to degrade the detectability and thus provide effective defense against unlearnable examples with a lower cost. Adversarial training with large budgets is a widely-used defense method on unlearnable examples. We establish quantitative criteria between the poison and adversarial budgets which determine the existence of robust unlearnable examples or the failure of the adversarial defense.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google