Efficient local linearity regularization to overcome catastrophic overfitting

要約

シングルステップの敵対的トレーニング (AT) における壊滅的な過学習 (CO) は、敵対的テストの精度の突然の低下 (0% にまで低下する場合もあります) をもたらします。
マルチステップ AT でトレーニングされたモデルの場合、損失関数が入力に対して局所的に線形に動作することが観察されていますが、これはシングルステップ AT では失われます。
シングルステップ AT で CO に対処するために、正則化によって損失の局所的線形性を強制するいくつかの方法が提案されています。
ただし、これらの正則化項は、二重逆伝播によりトレーニングの速度を大幅に低下させます。
代わりに、この研究では、古典的な AT 評価だけでなく、大きな敵対的摂動や長時間のトレーニング スケジュールなど、より困難なレジームでも効果的かつ効率的に CO を軽減するために、ELLE と呼ばれる正則化用語を導入します。
私たちの正則化項は理論的には損失関数の曲率に関連付けることができ、二重逆伝播を回避することで以前の方法よりも計算コストが安くなります。
私たちの徹底した実験検証により、以前の作品では CO の影響を受けていた困難な環境であっても、私たちの作品では CO の影響を受けないことが実証されました。
また、トレーニング (ELLE-A) 中に正則化パラメータを適応させると、特に大規模な $\epsilon$ セットアップでパフォーマンスが大幅に向上することにも気付きました。
私たちの実装は https://github.com/LIONS-EPFL/ELLE で入手できます。

要約(オリジナル)

Catastrophic overfitting (CO) in single-step adversarial training (AT) results in abrupt drops in the adversarial test accuracy (even down to 0%). For models trained with multi-step AT, it has been observed that the loss function behaves locally linearly with respect to the input, this is however lost in single-step AT. To address CO in single-step AT, several methods have been proposed to enforce local linearity of the loss via regularization. However, these regularization terms considerably slow down training due to Double Backpropagation. Instead, in this work, we introduce a regularization term, called ELLE, to mitigate CO effectively and efficiently in classical AT evaluations, as well as some more difficult regimes, e.g., large adversarial perturbations and long training schedules. Our regularization term can be theoretically linked to curvature of the loss function and is computationally cheaper than previous methods by avoiding Double Backpropagation. Our thorough experimental validation demonstrates that our work does not suffer from CO, even in challenging settings where previous works suffer from it. We also notice that adapting our regularization parameter during training (ELLE-A) greatly improves the performance, specially in large $\epsilon$ setups. Our implementation is available in https://github.com/LIONS-EPFL/ELLE .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google