Rethinking Adversarial Training with A Simple Baseline

要約

シンプルかつ効果的なベースラインアプローチを使用して、CIFAR と SVHN の RobustBench での競合結果を報告します。
私たちのアプローチには、再スケーリングされた二乗損失、循環学習率、および消去ベースのデータ拡張を統合するトレーニング プロトコルが含まれます。
私たちが達成した結果は、現在敵対的トレーニングの主な選択肢である最先端の技術でトレーニングされたモデルの結果に匹敵します。
SimpleAT と呼ばれる私たちのベースラインは、3 つの新しい経験的洞察をもたらします。
(i) 二乗損失に切り替えることにより、事実上のトレーニング プロトコルとデータ拡張の両方を使用して得られる精度と同等の精度が得られます。
(ii) 1 つの循環学習率は優れたスケジューラであり、堅牢な過学習のリスクを効果的に軽減できます。
(iii) モデルのトレーニング中に再スケーリングされた二乗損失を使用すると、敵対的な精度と自然な精度の間で好ましいバランスが得られます。
一般に、私たちの実験結果は、SimpleAT が強力な過学習を効果的に軽減し、トレーニングの終了時に一貫して最高のパフォーマンスを達成することを示しています。
たとえば、CIFAR-10 と ResNet-18 では、SimpleAT は現在の強力な Auto Attack に対して約 52% の敵対的精度を達成します。
さらに、SimpleAT は、CIFAR-10-C データセットで一般的に見られるものを含む、さまざまな画像破損に対して堅牢なパフォーマンスを示します。
最後に、バイアス分散分析とロジット ペナルティ法という 2 つの手法を通じて、これらの洞察の有効性を評価します。
私たちの調査結果は、これらの単純な手法のすべてが、堅牢な過学習の主な原因と考えられるモデル予測の分散を削減できることを示しています。
さらに、私たちの分析では、さまざまな最先端の手法との関連性も明らかになります。

要約(オリジナル)

We report competitive results on RobustBench for CIFAR and SVHN using a simple yet effective baseline approach. Our approach involves a training protocol that integrates rescaled square loss, cyclic learning rates, and erasing-based data augmentation. The outcomes we have achieved are comparable to those of the model trained with state-of-the-art techniques, which is currently the predominant choice for adversarial training. Our baseline, referred to as SimpleAT, yields three novel empirical insights. (i) By switching to square loss, the accuracy is comparable to that obtained by using both de-facto training protocol plus data augmentation. (ii) One cyclic learning rate is a good scheduler, which can effectively reduce the risk of robust overfitting. (iii) Employing rescaled square loss during model training can yield a favorable balance between adversarial and natural accuracy. In general, our experimental results show that SimpleAT effectively mitigates robust overfitting and consistently achieves the best performance at the end of training. For example, on CIFAR-10 with ResNet-18, SimpleAT achieves approximately 52% adversarial accuracy against the current strong AutoAttack. Furthermore, SimpleAT exhibits robust performance on various image corruptions, including those commonly found in CIFAR-10-C dataset. Finally, we assess the effectiveness of these insights through two techniques: bias-variance analysis and logit penalty methods. Our findings demonstrate that all of these simple techniques are capable of reducing the variance of model predictions, which is regarded as the primary contributor to robust overfitting. In addition, our analysis also uncovers connections with various advanced state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google