Adversarial Contrastive Distillation with Adaptive Denoising

要約

Adversarial Robustness Distillation (ARD) は、小さなモデルのロバスト性を高める新しい方法です。
一般的な敵対的トレーニングとは異なり、その堅牢な知識伝達は、モデルの容量によって簡単に制限されることはありません。
ただし、知識のロバスト性を提供する教師モデルは、常に正しい予測を行うとは限らず、生徒のロバストなパフォーマンスを妨げます。
その上、以前の ARD メソッドでは、ロバスト性は、例間の関係を無視して、1 対 1 の模倣から完全に得られます。
この目的のために、Contrastive Relationship DeNoise Distillation (CRDND) と呼ばれる新しい構造化 ARD メソッドを提案します。
教師の不安定性をモデル化するための適応補償モジュールを設計します。
さらに、対照的な関係を利用して、複数の例の間で暗黙のロバスト性知識を調査します。
複数の攻撃ベンチマークに関する実験結果は、CRDND が堅牢な知識を効率的に転送し、最先端のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Adversarial Robustness Distillation (ARD) is a novel method to boost the robustness of small models. Unlike general adversarial training, its robust knowledge transfer can be less easily restricted by the model capacity. However, the teacher model that provides the robustness of knowledge does not always make correct predictions, interfering with the student’s robust performances. Besides, in the previous ARD methods, the robustness comes entirely from one-to-one imitation, ignoring the relationship between examples. To this end, we propose a novel structured ARD method called Contrastive Relationship DeNoise Distillation (CRDND). We design an adaptive compensation module to model the instability of the teacher. Moreover, we utilize the contrastive relationship to explore implicit robustness knowledge among multiple examples. Experimental results on multiple attack benchmarks show CRDND can transfer robust knowledge efficiently and achieves state-of-the-art performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google