Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders

要約

学習不可能なサンプル (UE) は、正しくラベル付けされたトレーニング サンプルに微妙な変更を加えることで、テスト エラーを最大化しようとします。
これらの中毒攻撃に対する防御は、訓練中に特定の介入が採用されるかどうかに基づいて分類できます。
1 つ目のアプローチは、敵対的トレーニングなどのトレーニング時の防御です。これはポイズニングの影響を軽減できますが、計算量が多くなります。
もう 1 つのアプローチは、トレーニング前の精製 (イメージ ショート スクイーズなど) です。これは、いくつかの単純な圧縮で構成されますが、さまざまな UE を処理する際に課題に遭遇することがよくあります。
私たちの研究は、効率的なトレーニング前精製方法を構築するための新しい解繊メカニズムを提供します。
まず、レート制約変分オートエンコーダ (VAE) を明らかにし、UE の摂動を抑制する明らかな傾向を示します。
その後、この現象について理論的な分析を行います。
これらの洞察に基づいて、学習可能なクラスごとの埋め込みで摂動を解きほぐすことができる、解きほぐし変分オートエンコーダ (D-VAE) を導入します。
このネットワークに基づいて、二段階の精製アプローチが自然に開発されます。
第 1 段階では摂動を大まかに除去することに重点を置き、第 2 段階では洗練された毒のない結果を生成し、さまざまなシナリオにわたって有効性と堅牢性を確保します。
広範な実験により、CIFAR-10、CIFAR-100、および 100 クラスの ImageNet サブセットにわたるこのメソッドの顕著なパフォーマンスが実証されました。
コードは https://github.com/yuyi-sd/D-VAE で入手できます。

要約(オリジナル)

Unlearnable examples (UEs) seek to maximize testing error by making subtle modifications to training examples that are correctly labeled. Defenses against these poisoning attacks can be categorized based on whether specific interventions are adopted during training. The first approach is training-time defense, such as adversarial training, which can mitigate poisoning effects but is computationally intensive. The other approach is pre-training purification, e.g., image short squeezing, which consists of several simple compressions but often encounters challenges in dealing with various UEs. Our work provides a novel disentanglement mechanism to build an efficient pre-training purification method. Firstly, we uncover rate-constrained variational autoencoders (VAEs), demonstrating a clear tendency to suppress the perturbations in UEs. We subsequently conduct a theoretical analysis for this phenomenon. Building upon these insights, we introduce a disentangle variational autoencoder (D-VAE), capable of disentangling the perturbations with learnable class-wise embeddings. Based on this network, a two-stage purification approach is naturally developed. The first stage focuses on roughly eliminating perturbations, while the second stage produces refined, poison-free results, ensuring effectiveness and robustness across various scenarios. Extensive experiments demonstrate the remarkable performance of our method across CIFAR-10, CIFAR-100, and a 100-class ImageNet-subset. Code is available at https://github.com/yuyi-sd/D-VAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google