Hessian-Free Second-Order Adversarial Examples for Adversarial Learning

要約

近年の研究により、ディープニューラルネットワーク（DNN）は精巧に設計された敵対的な事例に極めて弱いことが分かっている。このような攻撃に対して、敵対的な事例を用いた敵対的学習が最も効果的な手法の一つであることが証明されています。現在のところ、既存の敵対的事例生成手法の多くは一次勾配に基づいており、特に二次敵対的攻撃に直面した場合、モデルの頑健性をさらに向上させることは困難である。2次勾配は、1次勾配と比較して、自然な例に対する損失地形をより正確に近似することができる。このことに着想を得て、我々の研究では、2次の敵対的な例を作り、それを使ってDNNを学習させる。しかし、2次最適化にはヘシアン逆行列の計算が必要であり、時間がかかる。本研究では、この問題をクリロフ部分空間における最適化に変換することで近似し、計算量を大幅に削減し、学習速度を向上させる手法を提案する。MINISTとCIFAR-10データセットを用いた広範な実験により、2次の敵対的事例を用いた我々の敵対的学習が他の1次の手法を凌駕し、様々な攻撃に対してモデルの頑健性を向上させることができることが示された。

要約(オリジナル)

Recent studies show deep neural networks (DNNs) are extremely vulnerable to the elaborately designed adversarial examples. Adversarial learning with those adversarial examples has been proved as one of the most effective methods to defend against such an attack. At present, most existing adversarial examples generation methods are based on first-order gradients, which can hardly further improve models’ robustness, especially when facing second-order adversarial attacks. Compared with first-order gradients, second-order gradients provide a more accurate approximation of the loss landscape with respect to natural examples. Inspired by this, our work crafts second-order adversarial examples and uses them to train DNNs. Nevertheless, second-order optimization involves time-consuming calculation for Hessian-inverse. We propose an approximation method through transforming the problem into an optimization in the Krylov subspace, which remarkably reduce the computational complexity to speed up the training procedure. Extensive experiments conducted on the MINIST and CIFAR-10 datasets show that our adversarial learning with second-order adversarial examples outperforms other fisrt-order methods, which can improve the model robustness against a wide range of attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL