Instant Adversarial Purification with Adversarial Consistency Distillation

要約

ニューラルネットワークは、並外れたパフォーマンスで多数の分野に革命をもたらしましたが、微妙な摂動を通じて敵対的な攻撃を受けやすいままです。
Diffpureのような拡散ベースの精製方法は有望な防御メカニズムを提供しますが、その計算オーバーヘッドは大きな実用的な制限を示しています。
この論文では、拡散モデル内の単一の神経関数評価（NFE）で堅牢な敵対的浄化を達成する新しい防御フレームワークであるワンステップコントロール精製（OSCP）を紹介します。
Gaussianの敵対的な騒音蒸留（GAND）を蒸留目標として、推論パイプラインとして制御された敵対的浄化（CAP）として提案します。
提案されたGANDは、一貫性の蒸留と敵対的摂動の間の根本的な緊張に対処し、潜在空間の自然マニホールドと敵対的マニホールドのギャップを埋めながら、LORAなどのパラメーター効率の高い微調整（PEFT）メソッドを介して計算上効率的なままであり、完全なパラメーターの微調整からの高い計算予算要求からの高い計算予算要求を排除します。
CAPは、入力画像によって計算された分布不能なエッジ検出演算子を追加のプロンプトとして計算することで、精製プロセスを導き、大規模な精製ステップが使用されたときに、精製画像が元の外観から逸脱するのを効果的に防ぎます。
Imagenet Showcase OSCPの優れたパフォーマンスに関する実験結果は、浄化あたりわずか0.1秒で74.19％の防御成功率を達成しました。これは、従来のアプローチと比較して100倍のスピードアップです。

要約(オリジナル)

Neural networks have revolutionized numerous fields with their exceptional performance, yet they remain susceptible to adversarial attacks through subtle perturbations. While diffusion-based purification methods like DiffPure offer promising defense mechanisms, their computational overhead presents a significant practical limitation. In this paper, we introduce One Step Control Purification (OSCP), a novel defense framework that achieves robust adversarial purification in a single Neural Function Evaluation (NFE) within diffusion models. We propose Gaussian Adversarial Noise Distillation (GAND) as the distillation objective and Controlled Adversarial Purification (CAP) as the inference pipeline, which makes OSCP demonstrate remarkable efficiency while maintaining defense efficacy. Our proposed GAND addresses a fundamental tension between consistency distillation and adversarial perturbation, bridging the gap between natural and adversarial manifolds in the latent space, while remaining computationally efficient through Parameter-Efficient Fine-Tuning (PEFT) methods such as LoRA, eliminating the high computational budget request from full parameter fine-tuning. The CAP guides the purification process through the unlearnable edge detection operator calculated by the input image as an extra prompt, effectively preventing the purified images from deviating from their original appearance when large purification steps are used. Our experimental results on ImageNet showcase OSCP’s superior performance, achieving a 74.19% defense success rate with merely 0.1s per purification — a 100-fold speedup compared to conventional approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google