Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise

要約

大量の画像データのオープンソースは、深層学習技術の開発を促進します。
これに加えて、これらのオープンソースの画像データセットが、商用または違法な目的で深層学習モデルをトレーニングするために無許可の第三者によって悪用されるというプライバシー リスクも伴います。
公開データの悪用を避けるために、データに一種の知覚できないノイズを追加することでモデルの汎化パフォーマンスを大幅に低下させるポイズニングベースの手法、つまり学習不可能な例が提案されています。
敵対的トレーニングに対する堅牢性をさらに強化するために、既存の研究では、防御ノイズと代理モデルの両方で反復的な敵対的トレーニングを活用しています。
ただし、学習不可能な例の堅牢性が主にサロゲート モデルの強化の効果によるものなのか、それとも防御ノイズによるものなのかはまだ不明です。
防御ノイズのトレーニング プロセスで敵対ノイズを単に除去するだけで、堅牢な学習不可能なサンプルのパフォーマンスが向上することを観察すると、サロゲート モデルの堅牢性のみがパフォーマンスに寄与していることがわかります。
さらに、防御ノイズの堅牢性と保護性能の間に負の相関関係が存在することがわかり、防御ノイズの不安定性の問題が示されました。
これを動機として、堅牢な学習不可能な例をさらに強化するために、安定したエラー最小化ノイズ (SEM) を導入します。これは、防御ノイズの安定性を向上させるために、時間のかかる敵対的な摂動ではなく、ランダムな摂動に対して防御ノイズをトレーニングします。
広範な実験を通じて、SEM が有効性と効率の両方の点で CIFAR-10、CIFAR-100、および ImageNet サブセット上で新しい最先端のパフォーマンスを達成することを実証しました。
コードは https://github.com/liuyixin-louis/Stable-Unlearnable-Example で入手できます。

要約(オリジナル)

The open source of large amounts of image data promotes the development of deep learning techniques. Along with this comes the privacy risk of these open-source image datasets being exploited by unauthorized third parties to train deep learning models for commercial or illegal purposes. To avoid the abuse of public data, a poisoning-based technique, the unlearnable example, is proposed to significantly degrade the generalization performance of models by adding a kind of imperceptible noise to the data. To further enhance its robustness against adversarial training, existing works leverage iterative adversarial training on both the defensive noise and the surrogate model. However, it still remains unknown whether the robustness of unlearnable examples primarily comes from the effect of enhancement in the surrogate model or the defensive noise. Observing that simply removing the adversarial noise on the training process of the defensive noise can improve the performance of robust unlearnable examples, we identify that solely the surrogate model’s robustness contributes to the performance. Furthermore, we found a negative correlation exists between the robustness of defensive noise and the protection performance, indicating defensive noise’s instability issue. Motivated by this, to further boost the robust unlearnable example, we introduce stable error-minimizing noise (SEM), which trains the defensive noise against random perturbation instead of the time-consuming adversarial perturbation to improve the stability of defensive noise. Through extensive experiments, we demonstrate that SEM achieves a new state-of-the-art performance on CIFAR-10, CIFAR-100, and ImageNet Subset in terms of both effectiveness and efficiency. The code is available at https://github.com/liuyixin-louis/Stable-Unlearnable-Example.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google