Enhancing Adversarial Robustness in Low-Label Regime via Adaptively Weighted Regularization and Knowledge Distillation

要約

敵対的堅牢性は、信頼できる人工知能の探求において最近多くの注目を集めている研究分野です。
ただし、敵対的堅牢性に関する最近の研究は、ラベル付きデータが豊富であると想定される教師あり学習に焦点を当てています。
この論文では、ラベル付きデータが不足している場合の半教師あり敵対的トレーニングを調査します。
ロバストリスクの 2 つの上限を導出し、これら 2 つの上限によって動機付けられるラベルなしデータの正則化項を提案します。
次に、提案された正則化項と半教師あり教師 (つまり、半教師あり学習アルゴリズムを使用してトレーニングされた教師モデル) を使用した知識蒸留を組み合わせた、半教師あり敵対的トレーニング アルゴリズムを開発します。
私たちの実験は、私たちが提案したアルゴリズムが既存のアルゴリズムと比較して大幅なマージンで最先端のパフォーマンスを達成することを示しています。
特に、教師あり学習アルゴリズムと比較して、ラベル付きデータの量が非常に少ない場合でも、提案したアルゴリズムのパフォーマンスはそれほど劣りません。
たとえば、8\% のラベル付きデータのみを含む私たちのアルゴリズムは、CIFAR-10 の標準精度と堅牢な精度の両方の点で、すべてのラベル付きデータを使用する教師あり敵対的トレーニング アルゴリズムに匹敵します。

要約(オリジナル)

Adversarial robustness is a research area that has recently received a lot of attention in the quest for trustworthy artificial intelligence. However, recent works on adversarial robustness have focused on supervised learning where it is assumed that labeled data is plentiful. In this paper, we investigate semi-supervised adversarial training where labeled data is scarce. We derive two upper bounds for the robust risk and propose a regularization term for unlabeled data motivated by these two upper bounds. Then, we develop a semi-supervised adversarial training algorithm that combines the proposed regularization term with knowledge distillation using a semi-supervised teacher (i.e., a teacher model trained using a semi-supervised learning algorithm). Our experiments show that our proposed algorithm achieves state-of-the-art performance with significant margins compared to existing algorithms. In particular, compared to supervised learning algorithms, performance of our proposed algorithm is not much worse even when the amount of labeled data is very small. For example, our algorithm with only 8\% labeled data is comparable to supervised adversarial training algorithms that use all labeled data, both in terms of standard and robust accuracies on CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google