Fast Adversarial Training with Smooth Convergence

要約

高速敵対的トレーニング (FAT) は、ニューラル ネットワークの敵対的堅牢性を向上させるのに有益です。
しかし、これまでの FAT の研究では、大きな摂動バジェットを扱う際に壊滅的な過学習として知られる重大な問題が発生しました。つまり、トレーニング中にモデルの敵対的堅牢性がほぼゼロに低下します。
これに対処するために、以前の FAT 作業のトレーニング プロセスを分析し、壊滅的な過剰適合が損失収束外れ値の出現を伴うことを観察しました。
したがって、適度に滑らかな損失収束プロセスは、壊滅的な過学習を解決する安定した FAT プロセスになると主張します。
滑らかな損失収束プロセスを取得するために、隣接するエポック間の損失差を制限する新しい振動制約 (ConvergeSmooth と呼ばれる) を提案します。
ConvergeSmooth の収束ストライドは、収束とスムージングのバランスを取るために導入されました。
同様に、損失バランス係数以外の追加のハイパーパラメータを導入することなく、重みの集中化を設計します。
私たちが提案する手法は攻撃に依存しないため、さまざまな FAT 手法のトレーニングの安定性を向上させることができます。
一般的なデータセットに対する広範な実験により、提案された方法が壊滅的なオーバーフィッティングを効率的に回避し、以前のすべての FAT 方法よりも優れたパフォーマンスを発揮することが示されました。
コードは \url{https://github.com/FAT-CS/ConvergeSmooth} で入手できます。

要約(オリジナル)

Fast adversarial training (FAT) is beneficial for improving the adversarial robustness of neural networks. However, previous FAT work has encountered a significant issue known as catastrophic overfitting when dealing with large perturbation budgets, \ie the adversarial robustness of models declines to near zero during training. To address this, we analyze the training process of prior FAT work and observe that catastrophic overfitting is accompanied by the appearance of loss convergence outliers. Therefore, we argue a moderately smooth loss convergence process will be a stable FAT process that solves catastrophic overfitting. To obtain a smooth loss convergence process, we propose a novel oscillatory constraint (dubbed ConvergeSmooth) to limit the loss difference between adjacent epochs. The convergence stride of ConvergeSmooth is introduced to balance convergence and smoothing. Likewise, we design weight centralization without introducing additional hyperparameters other than the loss balance coefficient. Our proposed methods are attack-agnostic and thus can improve the training stability of various FAT techniques. Extensive experiments on popular datasets show that the proposed methods efficiently avoid catastrophic overfitting and outperform all previous FAT methods. Code is available at \url{https://github.com/FAT-CS/ConvergeSmooth}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google