Better Diffusion Models Further Improve Adversarial Training

要約

ノイズ除去拡散確率モデル (DDPM) によって生成されたデータは、敵対的トレーニングを改善することが認識されています。
拡散モデルの 2 年間の急速な開発の後、自然に疑問が生じます: より良い拡散モデルは、敵対的トレーニングをさらに改善できるでしょうか?
この論文では、DDPM と比較して効率が高く ($\sim 20$ サンプリング ステップ)、画質が高い (FID スコアが低い) 最新の拡散モデルを使用することで、肯定的な答えが得られます。
敵対的に訓練されたモデルは、生成されたデータのみ (外部データセットなし) を使用して、RobustBench で最先端のパフォーマンスを実現します。
$\epsilon=8/255$ の $\ell_\infty$-norm 脅威モデルの下で、モデルは CIFAR-10 と CIFAR-100 でそれぞれ $70.69\%$ と $42.67\%$ の堅牢な精度を達成します。
$+4.58\%$ および $+8.03\%$ の以前の最先端モデル。
$\epsilon=128/255$ の $\ell_2$-norm 脅威モデルでは、モデルは CIFAR-10 ($+4.44\%$) で $84.86\%$ を達成します。
これらの結果は、外部データを使用する以前の研究にも勝っています。
コードは https://github.com/wzekai99/DM-Improves-AT で入手できます。

要約(オリジナル)

It has been recognized that the data generated by the denoising diffusion probabilistic model (DDPM) improves adversarial training. After two years of rapid development in diffusion models, a question naturally arises: can better diffusion models further improve adversarial training? This paper gives an affirmative answer by employing the most recent diffusion model which has higher efficiency ($\sim 20$ sampling steps) and image quality (lower FID score) compared with DDPM. Our adversarially trained models achieve state-of-the-art performance on RobustBench using only generated data (no external datasets). Under the $\ell_\infty$-norm threat model with $\epsilon=8/255$, our models achieve $70.69\%$ and $42.67\%$ robust accuracy on CIFAR-10 and CIFAR-100, respectively, i.e. improving upon previous state-of-the-art models by $+4.58\%$ and $+8.03\%$. Under the $\ell_2$-norm threat model with $\epsilon=128/255$, our models achieve $84.86\%$ on CIFAR-10 ($+4.44\%$). These results also beat previous works that use external data. Our code is available at https://github.com/wzekai99/DM-Improves-AT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google