Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks

要約

敵対的トレーニングは、モデルの堅牢性を高めるための最も効果的な方法の 1 つです。
最近のアプローチでは、敵対的トレーニング アーキテクチャに敵対的蒸留が組み込まれています。
ただし、防御手法のパフォーマンスを制限する 2 つのシナリオに注目します。(1) 以前の手法は主に敵対的トレーニングに静的なグラウンド トゥルースを使用しますが、これにより堅牢な過剰学習が発生することがよくあります。
(2) 損失関数は平均二乗誤差または KL 発散のいずれかであり、クリーンな精度で次善のパフォーマンスをもたらします。
これらの問題を解決するために、ターゲット モデルがガイド モデルの決定から段階的かつ動的に堅牢性を獲得できるようにする動的ラベル敵対的トレーニング (DYNAT) アルゴリズムを提案します。
さらに、ターゲット モデルの内部最適化の予算次元が、クリーンな精度とロバストな精度の間のトレードオフに寄与する可能性があることもわかりました。
したがって、我々は敵対的トレーニングに組み込む新しい内部最適化手法を提案します。
これにより、ターゲット モデルは、ガイド モデルからの動的ラベルに基づいて敵対的な例を適応的に検索できるようになり、ターゲット モデルの堅牢性に貢献します。
広範な実験により、私たちのアプローチの優れたパフォーマンスが検証されています。

要約(オリジナル)

Adversarial training is one of the most effective methods for enhancing model robustness. Recent approaches incorporate adversarial distillation in adversarial training architectures. However, we notice two scenarios of defense methods that limit their performance: (1) Previous methods primarily use static ground truth for adversarial training, but this often causes robust overfitting; (2) The loss functions are either Mean Squared Error or KL-divergence leading to a sub-optimal performance on clean accuracy. To solve those problems, we propose a dynamic label adversarial training (DYNAT) algorithm that enables the target model to gradually and dynamically gain robustness from the guide model’s decisions. Additionally, we found that a budgeted dimension of inner optimization for the target model may contribute to the trade-off between clean accuracy and robust accuracy. Therefore, we propose a novel inner optimization method to be incorporated into the adversarial training. This will enable the target model to adaptively search for adversarial examples based on dynamic labels from the guiding model, contributing to the robustness of the target model. Extensive experiments validate the superior performance of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google