Lower Difficulty and Better Robustness: A Bregman Divergence Perspective for Adversarial Training

要約

この論文では、最適化の難易度を下げることによって、敵対的トレーニング (AT) で得られる敵対的ロバスト性の向上について調査します。
この問題をよりよく研究するために、AT に対する新しいブレグマン発散の観点を構築します。この観点では、AT は負のエントロピー曲線上のトレーニング データ点のスライド プロセスと見なすことができます。
この観点に基づいて、PGD-AT と TRADES という 2 つの代表的な AT 手法の学習目標を分析したところ、TRADES が PGD-AT を分離しているため、TRADES の最適化プロセスは PGD-AT よりも容易であることがわかりました。
さらに、TRADES ではエントロピーの関数について議論し、エントロピーが高いモデルがより優れたロバスト性学習器となる可能性があることがわかりました。
上記の発見に触発されて、我々は 2 つの方法、つまり FAIT と MER を提案します。これらはどちらも 10 ステップの PGD 攻撃者の下での最適化の困難さを軽減するだけでなく、より優れた堅牢性も提供できます。
私たちの研究は、10 ステップの PGD 敵対者の下での最適化の難易度を軽減することが、AT の敵対的堅牢性を強化するための有望なアプローチであることを示唆しています。

要約(オリジナル)

In this paper, we investigate on improving the adversarial robustness obtained in adversarial training (AT) via reducing the difficulty of optimization. To better study this problem, we build a novel Bregman divergence perspective for AT, in which AT can be viewed as the sliding process of the training data points on the negative entropy curve. Based on this perspective, we analyze the learning objectives of two typical AT methods, i.e., PGD-AT and TRADES, and we find that the optimization process of TRADES is easier than PGD-AT for that TRADES separates PGD-AT. In addition, we discuss the function of entropy in TRADES, and we find that models with high entropy can be better robustness learners. Inspired by the above findings, we propose two methods, i.e., FAIT and MER, which can both not only reduce the difficulty of optimization under the 10-step PGD adversaries, but also provide better robustness. Our work suggests that reducing the difficulty of optimization under the 10-step PGD adversaries is a promising approach for enhancing the adversarial robustness in AT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google