Catastrophic overfitting is a bug but also a feature

要約

堅牢なニューラルネットワークを構築する際の明確な計算上の利点にもかかわらず、シングルステップ方式を使用する敵対的トレーニング（AT）は、壊滅的な過剰適合（CO）に悩まされるため、不安定です。ネットワークは、敵対的トレーニングの最初の段階で自明ではない堅牢性を獲得しますが、突然、
わずか数回の反復ですべての堅牢性がすぐに失われる限界点。
COの防止に成功した研究もありますが、この顕著な故障モードにつながるさまざまなメカニズムはまだよくわかっていません。
しかし、この研究では、データの構造とATのダイナミクスの相互作用が、COにおいて基本的な役割を果たしていることを発見しました。具体的には、自然画像の典型的なデータセットへの積極的な介入を通じて、
シングルステップAT法におけるデータとCOの発症。
この新しい視点は、COにつながるメカニズムへの重要な洞察を提供し、堅牢なモデル構築の一般的なダイナミクスのより良い理解への道を開きます。
このペーパーの実験を再現するためのコードは、https：//github.com/gortizji/co_featuresにあります。

要約(オリジナル)

Despite clear computational advantages in building robust neural networks, adversarial training (AT) using single-step methods is unstable as it suffers from catastrophic overfitting (CO): Networks gain non-trivial robustness during the first stages of adversarial training, but suddenly reach a breaking point where they quickly lose all robustness in just a few iterations. Although some works have succeeded at preventing CO, the different mechanisms that lead to this remarkable failure mode are still poorly understood. In this work, however, we find that the interplay between the structure of the data and the dynamics of AT plays a fundamental role in CO. Specifically, through active interventions on typical datasets of natural images, we establish a causal link between the structure of the data and the onset of CO in single-step AT methods. This new perspective provides important insights into the mechanisms that lead to CO and paves the way towards a better understanding of the general dynamics of robust model construction. The code to reproduce the experiments of this paper can be found at https://github.com/gortizji/co_features .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google