Data Augmentation Alone Can Improve Adversarial Training

要約

敵対的トレーニングは、ロバストなオーバーフィッティングの問題に悩まされており、一般化のパフォーマンスが著しく損なわれます。
標準トレーニングでのオーバーフィッティングの防止に効果的なデータ拡張は、敵対的トレーニングでのオーバーフィッティングの軽減には効果がないことが、以前の多くの研究で観察されています。
この研究は、以前の調査結果とは対照的に、データ拡張だけで敵対的トレーニングの精度と堅牢性を大幅に向上できることを証明しています。
データ拡張の難しさと多様性は、ロバストなオーバーフィッティングと戦う上で重要な要素であることがわかりました。
一般に、多様性は精度とロバスト性の両方を向上させることができますが、硬さは特定の制限内で精度を犠牲にしてロバスト性を高め、その制限を超えると両方を低下させる可能性があります。
ロバストなオーバーフィッティングを軽減するために、まず、従来のもの (Padcrop) と比較して多様性を改善した新しいクロップ変換 Cropshift を提案します。
次に、クロップシフトに基づいて、多様性が大幅に向上し、バランスの取れた硬度を持つ新しいデータ拡張スキームを提案します。
経験的に、私たちの拡張方法は、敵対的トレーニングにおけるデータ拡張の最先端の精度と堅牢性を実現します。
さらに、加重平均と組み合わせると、ロバストなオーバーフィッティングを軽減するための最新の正則化手法のパフォーマンスに匹敵するか、それを超えることさえあります。
コードは https://github.com/TreeLLi/DA-Alone-Improves-AT で入手できます。

要約(オリジナル)

Adversarial training suffers from the issue of robust overfitting, which seriously impairs its generalization performance. Data augmentation, which is effective at preventing overfitting in standard training, has been observed by many previous works to be ineffective in mitigating overfitting in adversarial training. This work proves that, contrary to previous findings, data augmentation alone can significantly boost accuracy and robustness in adversarial training. We find that the hardness and the diversity of data augmentation are important factors in combating robust overfitting. In general, diversity can improve both accuracy and robustness, while hardness can boost robustness at the cost of accuracy within a certain limit and degrade them both over that limit. To mitigate robust overfitting, we first propose a new crop transformation, Cropshift, which has improved diversity compared to the conventional one (Padcrop). We then propose a new data augmentation scheme, based on Cropshift, with much improved diversity and well-balanced hardness. Empirically, our augmentation method achieves the state-of-the-art accuracy and robustness for data augmentations in adversarial training. Furthermore, when combined with weight averaging it matches, or even exceeds, the performance of the best contemporary regularization methods for alleviating robust overfitting. Code is available at: https://github.com/TreeLLi/DA-Alone-Improves-AT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google