Revisiting Adversarial Training at Scale

要約

機械学習コミュニティは、前例のない規模の「基礎モデル」を中心としたトレーニング パイプラインの劇的な変化を目の当たりにしました。
しかし、敵対的トレーニングの分野は遅れをとっており、主に ResNet-50 のような小さなサイズのモデルや、CIFAR-10 のような小さくて低解像度のデータセットが中心となっています。
この変革のギャップを埋めるために、このホワイトペーパーでは、敵対的トレーニングによる最新の再検討を提供し、大規模に適用した場合の潜在的な利点を調査します。
さらに、巨大なモデルと Web スケールのデータを使用した敵対的トレーニングを手頃なコンピューティング コストで可能にする、効率的かつ効果的なトレーニング戦略を導入します。
この新しく導入されたフレームワークを AdvXL と呼びます。
実験結果は、AdvXL が ImageNet-1K 上の Auto Attack の下で新しい最先端の堅牢な精度記録を確立することを示しています。
たとえば、DataComp-1B データセットでトレーニングすることにより、AdvXL はバニラ ViT-g モデルを強化し、$l_{\infty}$-、$l_{2}$-、$l_{1} の以前の記録を大幅に上回ります。
それぞれ 11.4%、14.2%、12.9% のマージンによる $-robust 精度。
この成果により、AdvXL は先駆的なアプローチであり、大幅に大規模なスケールで堅牢な視覚表現を効率的にトレーニングするための新しい軌道を描くことができました。
私たちのコードは https://github.com/UCSC-VLAA/AdvXL で入手できます。

要約(オリジナル)

The machine learning community has witnessed a drastic change in the training pipeline, pivoted by those ”foundation models” with unprecedented scales. However, the field of adversarial training is lagging behind, predominantly centered around small model sizes like ResNet-50, and tiny and low-resolution datasets like CIFAR-10. To bridge this transformation gap, this paper provides a modern re-examination with adversarial training, investigating its potential benefits when applied at scale. Additionally, we introduce an efficient and effective training strategy to enable adversarial training with giant models and web-scale data at an affordable computing cost. We denote this newly introduced framework as AdvXL. Empirical results demonstrate that AdvXL establishes new state-of-the-art robust accuracy records under AutoAttack on ImageNet-1K. For example, by training on DataComp-1B dataset, our AdvXL empowers a vanilla ViT-g model to substantially surpass the previous records of $l_{\infty}$-, $l_{2}$-, and $l_{1}$-robust accuracy by margins of 11.4%, 14.2% and 12.9%, respectively. This achievement posits AdvXL as a pioneering approach, charting a new trajectory for the efficient training of robust visual representations at significantly larger scales. Our code is available at https://github.com/UCSC-VLAA/AdvXL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google