Scaling Compute Is Not All You Need for Adversarial Robustness

要約

過去 6 年間で、敵対的に堅牢な深層学習において大きな進歩が見られました。
RobustBench ベンチマークの CIFAR-10 データセット カテゴリで証明されているように、$\ell_\infty$ の敵対的摂動における精度は、\citet{Madry2018Towards} の 44\% から \citet{peng2023robust} の 71\% に向上しました。
既存の最先端技術は印象的ではありますが、まだ満足できるものではありません。
さらに、最高のパフォーマンスを発揮するモデルは、多くの場合、多額の計算予算を備えた産業研究所によって敵対的にトレーニングされた非常に大規模なモデルであることが観察されています。
この論文では、「コンピューティング能力は敵対的堅牢性の進歩をどれだけ長く推進できるのか?」を理解することを目的としています。
この質問に答えるために、 \emph{敵対的な堅牢性のためのスケーリング則} を導き出します。これは、将来的に外挿して、望ましいレベルの堅牢性を達成するために支払う必要があるコストの見積もりを提供することができます。
敵対的トレーニングに必要な FLOP の増加は、パフォーマンス向上の点で標準トレーニングほどの利点をもたらさないことを示します。
さらに、最高のパフォーマンスを発揮するテクニックの一部は正確に再現することが難しいことがわかり、トレーニング設定のわずかな変更に対して十分な堅牢性がないことが示唆されています。
私たちの分析は、将来の研究で追求する価値のある潜在的な方向性も明らかにします。
最後に、効率的で堅牢な深層学習における将来の分析を容易にするために、ベンチマーク フレームワーク (\texttt{timm}~\citep{rw2019timm} の上に構築された) を一般公開します。

要約(オリジナル)

The last six years have witnessed significant progress in adversarially robust deep learning. As evidenced by the CIFAR-10 dataset category in RobustBench benchmark, the accuracy under $\ell_\infty$ adversarial perturbations improved from 44\% in \citet{Madry2018Towards} to 71\% in \citet{peng2023robust}. Although impressive, existing state-of-the-art is still far from satisfactory. It is further observed that best-performing models are often very large models adversarially trained by industrial labs with significant computational budgets. In this paper, we aim to understand: “how much longer can computing power drive adversarial robustness advances?’ To answer this question, we derive \emph{scaling laws for adversarial robustness} which can be extrapolated in the future to provide an estimate of how much cost we would need to pay to reach a desired level of robustness. We show that increasing the FLOPs needed for adversarial training does not bring as much advantage as it does for standard training in terms of performance improvements. Moreover, we find that some of the top-performing techniques are difficult to exactly reproduce, suggesting that they are not robust enough for minor changes in the training setup. Our analysis also uncovers potentially worthwhile directions to pursue in future research. Finally, we make our benchmarking framework (built on top of \texttt{timm}~\citep{rw2019timm}) publicly available to facilitate future analysis in efficient robust deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google